Napoléon aurait pu apprendre du passé. peinture d'Adolph Northen / wikipédia

C'est un cliché que de ne pas connaître l'histoire fait qu'on la répète. Comme beaucoup de gens l'ont également souligné, la seule chose que nous apprenons de l'histoire, c'est que nous apprenons rarement quoi que ce soit de l'histoire. Les gens s'engagent dans guerres terrestres en Asie encore et encore. Ils répètent également les mêmes erreurs de rencontres, encore et encore. Mais pourquoi cela arrive-t-il ? Et la technologie y mettra-t-elle fin ?

Un problème est l'oubli et "myopie» : nous ne voyons pas en quoi les événements passés sont pertinents pour les événements actuels, en négligeant le schéma qui se déroule. Napoléon aurait dû remarquer les similitudes entre sa marche sur Moscou et le roi de Suède La tentative ratée de Charles XII de faire de même environ un siècle avant lui.

Nous sommes aussi mauvais en apprentissage Quand les choses vont mal. Au lieu de déterminer pourquoi une décision était mauvaise et comment éviter qu'elle ne se reproduise, nous essayons souvent d'ignorer la tournure embarrassante des événements. Cela signifie que la prochaine fois qu'une situation similaire se présentera, nous ne verrons pas la similitude - et répéterons l'erreur.

Les deux révèlent des problèmes d'information. Dans le premier cas, nous ne parvenons pas à nous souvenir d'informations personnelles ou historiques. Dans le second cas, nous ne parvenons pas à encoder l'information lorsqu'elle est disponible.

Cela dit, nous commettons aussi des erreurs lorsque nous ne pouvons pas déduire efficacement ce qui va se passer. Peut-être que la situation est trop complexe ou prend trop de temps pour y réfléchir. Ou nous sommes biaisés pour mal interpréter ce qui se passe.

Le pouvoir ennuyeux de la technologie

Mais la technologie peut sûrement nous aider ? Nous pouvons maintenant stocker des informations en dehors de notre cerveau et utiliser des ordinateurs pour les récupérer. Cela devrait faciliter l'apprentissage et la mémorisation, non ?

Stocker des informations est utile lorsqu'elles peuvent être récupérées correctement. Mais se souvenir n'est pas la même chose que récupérer un fichier à partir d'un emplacement ou d'une date connus. Se souvenir implique de repérer les similitudes et de rappeler les choses.

Une intelligence artificielle (IA) doit également être capable d'apporter spontanément des similitudes à notre esprit - des similitudes souvent indésirables. Mais s'il est bon pour remarquer d'éventuelles similitudes (après tout, il pourrait rechercher tout Internet et toutes nos données personnelles), il en remarquera aussi souvent de fausses.

Pour les rendez-vous ratés, il peut être noté qu'ils impliquaient tous un dîner. Mais ce n'était jamais la salle à manger qui était le problème. Et c'était une pure coïncidence s'il y avait des tulipes sur la table - aucune raison de les éviter. Nous répétons souvent les erreurs de rencontres. 

Cela signifie qu'il nous avertira des choses dont nous ne nous soucions pas, peut-être d'une manière ennuyeuse. Réduire sa sensibilité signifie augmenter le risque de ne pas recevoir d'avertissement lorsque cela est nécessaire.

C'est un problème fondamental qui s'applique tout autant à tout conseiller : le conseiller prudent criera trop souvent au loup, le conseiller optimiste manquera de risques.

Un bon conseiller est une personne de confiance. Ils ont à peu près le même niveau de prudence que nous, et nous savons qu'ils savent ce que nous voulons. C'est difficile à trouver chez un conseiller humain, et encore plus chez une IA.

Où la technologie arrête-t-elle les erreurs ? Travaux de protection contre les idiots. Les machines de coupe exigent que vous mainteniez les boutons enfoncés, en gardant vos mains éloignées des lames. Un "interrupteur d'homme mort" arrête une machine si l'opérateur devient incapable.

Les fours à micro-ondes éteignent le rayonnement lorsque la porte est ouverte. Pour lancer des missiles, deux personnes doivent tourner les clés simultanément dans une pièce. Ici, une conception soignée rend les erreurs difficiles à commettre. Mais nous ne nous soucions pas assez des situations moins importantes, ce qui rend la conception là-bas beaucoup moins idiote.

Lorsque la technologie fonctionne bien, nous lui faisons souvent trop confiance. Les pilotes de ligne ont aujourd'hui moins d'heures de vol réelles que par le passé en raison de l'incroyable efficacité des systèmes de pilotage automatique. C'est une mauvaise nouvelle lorsque le pilote automatique tombe en panne et que le pilote a moins d'expérience pour rectifier la situation.

Le premier d'un une nouvelle génération de plate-forme pétrolière (Sleipnir A) a coulé parce que les ingénieurs ont fait confiance au logiciel de calcul des forces agissant sur lui. Le modèle était erroné, mais il présentait les résultats d'une manière si convaincante qu'ils semblaient fiables.

Une grande partie de notre technologie est incroyablement fiable. Par exemple, nous ne remarquons pas comment des paquets de données perdus sur Internet sont constamment retrouvés dans les coulisses, comment les codes de correction d'erreurs suppriment le bruit ou comment les fusibles et la redondance rendent les appareils sûrs.

Mais lorsque nous empilons niveau après niveau de complexité, cela semble très peu fiable. Nous remarquons que la vidéo Zoom est en retard, que le programme AI répond mal ou que l'ordinateur plante. Pourtant, demandez à quiconque a utilisé un ordinateur ou une voiture il y a 50 ans comment ils fonctionnaient réellement, et vous remarquerez qu'ils étaient à la fois moins capables et moins fiables.

Nous rendons la technologie plus complexe jusqu'à ce qu'elle devienne trop ennuyeuse ou dangereuse à utiliser. Au fur et à mesure que les pièces deviennent meilleures et plus fiables, nous choisissons souvent d'ajouter de nouvelles fonctionnalités intéressantes et utiles plutôt que de nous en tenir à ce qui fonctionne. Cela rend finalement la technologie moins fiable qu'elle ne pourrait l'être.

Des erreurs seront commises

C'est aussi pourquoi l'IA est une épée à double tranchant pour éviter les erreurs. L'automatisation rend souvent les choses plus sûres et plus efficaces lorsqu'elles fonctionnent, mais lorsqu'elles échouent, les problèmes sont bien plus importants. L'autonomie signifie qu'un logiciel intelligent peut compléter notre réflexion et nous décharger, mais lorsqu'il ne pense pas comme nous le souhaitons, il peut mal se comporter.

Plus c'est complexe, plus les erreurs peuvent être fantastiques. Quiconque a eu affaire à des universitaires très intelligents sait à quel point ils peuvent gâcher les choses avec une grande ingéniosité lorsque leur bon sens leur fait défaut – et l'IA a très peu de bon sens humain.

C'est aussi une raison profonde de s'inquiéter de l'IA pour guider la prise de décision : ils font de nouvelles sortes d'erreurs. Nous, les humains, connaissons les erreurs humaines, ce qui signifie que nous pouvons les surveiller. Mais les machines intelligentes peuvent faire des erreurs que nous ne pourrions jamais imaginer.

De plus, les systèmes d'IA sont programmés et entraînés par des humains. Et il existe de nombreux exemples de tels systèmes devenir partial et même sectaire. Ils imitent les préjugés et répètent les erreurs du monde humain, même lorsque les personnes impliquées essaient explicitement de les éviter.

En fin de compte, les erreurs continueront de se produire. Il y a des raisons fondamentales pour lesquelles nous nous trompons sur le monde, pourquoi nous ne nous souvenons pas de tout ce que nous devrions, et pourquoi notre technologie ne peut parfaitement nous aider à éviter les ennuis.

Mais nous pouvons travailler pour réduire les conséquences des erreurs. Le bouton d'annulation et la sauvegarde automatique ont enregistré d'innombrables documents sur nos ordinateurs. Le Monument à Londres, pierres de tsunami au Japon et d'autres monuments agissent pour rappeler certains risques. De bonnes pratiques de conception rendent nos vies plus sûres.

En fin de compte, il est possible d'apprendre quelque chose de l'histoire. Notre objectif devrait être de survivre et d'apprendre de nos erreurs, et non de les empêcher de se produire. La technologie peut nous y aider, mais nous devons bien réfléchir à ce que nous en attendons réellement et concevoir en conséquence.

A propos de l'auteur

Anders Sandberg, James Martin Research Fellow, Future of Humanity Institute & Oxford Martin School, Université d'Oxford

Cet article est republié de The Conversation sous une licence Creative Commons. Lis le article original.