Les chatbots IA sont déjà largement utilisés par les entreprises pour accueillir les clients et répondre à leurs questions, que ce soit par téléphone ou sur des sites Web. Certaines entreprises ont découvert qu’elles pouvaient, dans une certaine mesure, remplacer les humains par des machines dans les fonctions des centres d’appels.
Cependant, les données disponibles suggèrent qu’il existe des secteurs – tels que les soins de santé et les ressources humaines – dans lesquels il convient d’être extrêmement prudent quant à l’utilisation de ces outils de première ligne, et où une surveillance éthique peut être nécessaire.
Un exemple récent et très médiatisé est celui d'un chatbot appelé Tessa, qui a été utilisé par le Association nationale des troubles de l'alimentation (NEDA) aux Etats-Unis. L'organisation avait initialement maintenu une ligne d'assistance téléphonique gérée par une combinaison d'employés salariés et de bénévoles. Celui-ci avait pour objectif exprès d'aider les personnes vulnérables souffrant de troubles de l'alimentation.
Cependant, cette année, l'organisation a dissous son personnel d'assistance téléphonique, annonçant qu'il les remplacerait par le chatbot Tessa. Les raisons de cela sont contestées. D'anciens travailleurs affirment que ce changement fait suite à une décision du personnel de la ligne d'assistance de se syndiquer. Le vice-président de la NEDA cité une augmentation du nombre d'appels et des temps d'attente, ainsi que des responsabilités juridiques liées au recours à du personnel bénévole.
Quoi qu’il en soit, après une très brève période d’activité, Tessa a été mise hors ligne suite à des informations selon lesquelles le chatbot avait émis des conseils problématiques qui auraient pu exacerber les symptômes des personnes cherchant de l’aide pour des troubles de l’alimentation.
Il a également été signalé que Dr Ellen Fitzsimmons-Craft et Dr C Barr Taylor, deux chercheurs hautement qualifiés qui ont contribué à la création de Tessa, avaient précisé que le chatbot n'avait jamais été destiné à remplacer une ligne d'assistance existante ou à apporter une assistance immédiate aux personnes présentant des symptômes intenses de troubles de l'alimentation.
Mise à niveau importante
Alors, pourquoi Tessa a-t-elle été conçue ? Les chercheurs, aux côtés de collègues, avaient généré une étude observationnelle soulignant les défis auxquels ils ont été confrontés dans la conception d'un chatbot basé sur des règles pour interagir avec les utilisateurs préoccupés par les troubles de l'alimentation. C'est une lecture assez fascinante, illustrant les choix de conception, les opérations, les pièges et les modifications.
La version originale de Tessa était une version traditionnelle, chatbot basé sur des règles, bien que très raffiné, qui suit une structure prédéfinie basée sur la logique. Il ne pouvait s’écarter des réponses standardisées préprogrammées calibrées par ses créateurs.
Leur conclusion incluait le point suivant : « Les chatbots basés sur des règles ont le potentiel d’atteindre de larges populations à faible coût en fournissant des informations et des interactions simples, mais sont limités dans leur compréhension et leur réponse appropriée aux réponses imprévues des utilisateurs ».
Cela pourrait sembler limiter les utilisations auxquelles Tessa était adaptée. Alors, comment a-t-il fini par remplacer la ligne d’assistance téléphonique précédemment utilisée par la NEDA ? La chaîne exacte des événements est en discussion parmi différents comptes, mais, selon NPR, la société d'hébergement du chatbot a fait passer Tessa d'un chatbot basé sur des règles avec des réponses préprogrammées à un autre avec un chatbot. « fonctionnalité améliorée de questions et réponses ».
La version ultérieure de Tessa utilisait une IA générative, un peu comme ChatGPT et des produits similaires. Ces chatbots IA avancés sont conçus pour simuler des modèles de conversation humaine dans le but de donner des réponses plus réalistes et utiles. La génération de ces réponses personnalisées s'appuie sur de vastes bases de données d'informations, que les modèles d'IA sont entraînés à « comprendre » à travers une variété de processus technologiques : machine learning, l'apprentissage en profondeur ainsi que traitement du langage naturel.
Leçons d'apprentissage
En fin de compte, le chatbot a généré ce qui a été décrit comme des réponses potentiellement dangereuses aux questions de certains utilisateurs. Les discussions qui ont suivi ont transféré la faute d’une institution à une autre. Il n'en reste pas moins que les circonstances qui ont suivi auraient pu être évitées s'il y avait eu un organisme assurant une surveillance éthique, un « humain au courant » et une adhésion à l'objectif clair de la conception originale de Tessa.
Il est important de tirer les leçons de cas comme celui-ci dans le contexte d’une ruée vers l’intégration de l’IA dans une variété de systèmes. Et même si ces événements ont eu lieu aux États-Unis, ils contiennent des leçons pour ceux qui cherchent à faire de même dans d’autres pays.
Le Royaume-Uni semble avoir une approche quelque peu fragmentée sur cette question. Le conseil consultatif du Centre pour l'éthique et l'innovation des données (CDEI) a été récemment dissoute et son siège à la table a été occupé par le nouveau groupe de travail Frontier AI. Selon certaines informations, des systèmes d’IA seraient déjà testés à Londres en tant qu’outils destinés aux travailleurs humanitaires – mais pas pour remplacer une ligne d’assistance téléphonique.
Ces deux exemples mettent en évidence une tension potentielle entre les considérations éthiques et les intérêts commerciaux. Nous devons espérer que les deux finiront par s’aligner, équilibrant le bien-être des individus avec l’efficacité et les avantages que l’IA pourrait apporter.
Cependant, dans certains domaines où les organisations interagissent avec le public, les réponses générées par l’IA et l’empathie simulée pourraient ne jamais suffire à remplacer une véritable humanité et compassion – en particulier dans les domaines de la médecine et de la santé mentale.
Marc Tsagas, Maître de conférences, Droit pénal, University of East London
Cet article est republié de The Conversation sous une licence Creative Commons. Lis le article original.
