Quand les choses vont mal dans un monde automatisé, saurions-nous encore ce qu'il faut faire?

Quand les choses vont mal dans un monde automatisé, saurions-nous encore ce qu'il faut faire?

Nous vivons dans un monde à la fois de plus en plus complexe et automatisé. Alors que nous devons faire face à des problèmes plus complexes, l'automatisation conduit à une atrophie des compétences humaines qui peut nous rendre plus vulnérables face à des situations inattendues ou lorsque les choses tournent mal. La Conversation

Considérons le dernières minutes du vol 447 d'Air France, qui s'est écrasé dans l'Atlantique en mai 2009 après avoir quitté Rio de Janeiro, au Brésil, pour Paris, en France.

Son enregistreur de vol a révélé confusion totale dans le cockpit. L'avion a été incliné vers le haut à 15º avec une voix automatique répétitive appelant "décrochage, décrochage". Pourtant, les pilotes étaient ébranlés, l'un s'exclamant: "[...] nous ne comprenons rien."

Ce n'est pas le lieu d'entrer dans les tenants et les aboutissants de ce vol malheureux, sauf pour noter que tout système conçu pour gérer automatiquement les imprévus la plupart du temps laisse une base de compétences dégradée pour la minorité de situations que les concepteurs pouvaient Je ne prévois pas.

S'adressant à Vanity Fair, Nadine Sarter, ingénieur industrielle à l'Université du Michigan, se souvient d'une conversation avec cinq ingénieurs impliqués dans la construction d'un avion particulier.

J'ai commencé à me demander: «Eh bien, comment cela fonctionne-t-il? Et ils ne pouvaient pas s'entendre sur les réponses. Donc, je pensais, si ces cinq ingénieurs ne peuvent pas être d'accord, le pauvre pilote, s'il rencontre jamais cette situation particulière ... eh bien, bonne chance.

En effet, la complexité de voler judicieusement des avions de ligne high-tech hautement complexes a été sous-traitée à un robot, avec les ingénieurs de vol à tous les objectifs allés des cockpits. Seuls les pilotes plus âgés et les anciens pilotes de l'armée de l'air conservent ces compétences détaillées.

De retour sur la terre ferme, dans un monde autonome, il pourrait y avoir des générations entières sans aucune expérience pratique conduire et naviguer un véhicule.

Nous voyons déjà une indication de ce qui peut mal tourner quand les humains laissent le contrôle à systèmes autonomes.

Une enquête sur le accident mortel d'un Tesla Model S avec pilote automatique a noté que la société a fourni des informations sur les "limitations du système" aux conducteurs. Dans ce cas, il appartient toujours aux conducteurs de prêter attention.

Mais quelle chance aurait une personne de prendre en charge les contrôles si les choses commençaient à mal tourner dans leur avenir? véhicule entièrement autonome. Savaient-ils même comment repérer les premiers signes d'une catastrophe imminente?

Perdre notre chemin?

Conduire ceci est un déterminisme technologique qui croit que toute innovation est intrinsèquement bonne. Alors que les technologies émergentes peuvent encore définir ce que c'est être humain, le défi est de reconnaître le risque et que faire pour s'assurer que les choses ne vont pas mal?

Cela devient plus difficile que nous avons ajouté à la complexité, en particulier avec la conduite autonome de trains de banlieue, taxis aériens et drones de livraison.

Les concepteurs de systèmes ont construit des systèmes plus grands et plus imbriqués pour partager la charge de traitement informatique, même si cela fait de leurs créations les meilleurs candidats à la panne. Ils négligent le fait qu'une fois que tout est connecté, les problèmes peuvent se propager aussi facilement que des solutions, parfois plus.

La complexité croissante et immense d'un monde automatisé présente des risques similaires.

Points de danger

Rétrospectivement, ce qui est nécessaire, c'est une capacité à couper les réseaux en cas de points de défaillance, ou du moins à sceller des parties d'un même réseau lorsqu'il y a des points de défaillance ailleurs dans le réseau.

Cet «îlotage» est une caractéristique des réseaux d'électricité intelligents offrant la possibilité de diviser le réseau en fragments capables d'auto-assurer leur demande d'énergie interne. La modélisation a montré que moins de connexions peuvent conduire à plus de sécurité.

La science de la complexité émergente pourrait-elle aider à déterminer où les points de danger pourraient se situer dans des réseaux fortement interconnectés? Marten Scheffer et ses collègues Je le pensais. Il avait constaté des similitudes entre le comportement de (ses) systèmes naturels et les systèmes économiques et financiers.

Son travail antérieur sur les lacs, les récifs coralliens, les mers, les forêts et les prairies, a constaté que les environnements soumis à des changements graduels comme le climat, la charge nutritive et la perte d'habitat peuvent atteindre des points de basculement qui les font basculer dans un état inférieur parfois irréversible.

Les banquiers et les économistes aux prises avec la stabilité des marchés financiers pourraient-ils apprendre des chercheurs en écologie, en épidémiologie et en climatologie à développer des indicateurs de la proximité des seuils critiques et de la panne du système?

En Février 2016 tout cela est venu ensemble sous la forme de un article sur la théorie de la complexité et la régulation financière co-écrit par un large éventail d'experts, y compris un économiste, banquier, physicien, climatologue, écologiste, zoologiste, vétérinaire et épidémiologiste.

Ils ont recommandé une intégration en ligne des données, des méthodes et des indicateurs, alimentant les tests de résistance pour les systèmes socio-économiques et financiers mondiaux en quasi-temps réel. Le premier est similaire à ce qui a été réalisé en traitant d'autres systèmes complexes tels que la météo.

Nous pouvons commencer à voir comment notre exemple d'un monde de conduite autonome se plie aux questions de stabilité du réseau. Imaginez un réseau hautement interconnecté de véhicules autonomes.

Il y a un besoin évident de savoir comment détecter et isoler les points de défaillance potentiels dans un tel réseau, avant que les choses ne tournent mal avec des conséquences potentiellement tragiques. Cela va au-delà de la simple protection du conducteur et du passager contre toute défaillance du système dans un seul véhicule autonome.

Il est temps de réfléchir à la façon dont nous pourrions utiliser ces progrès multidisciplinaires pour comprendre la stabilité de ces réseaux à grande échelle afin d'éviter des conséquences drastiques.

A propos de l'auteur

Peter Fisher, professeur auxiliaire, Études mondiales, urbaines et sociales, Université RMIT

Cet article a été publié initialement le La Conversation. Lis le article original.

Livres connexes

{amazonWS: searchindex = Livres; mots-clés = automatisation qui a mal tourné; maxresults = 3}