Les personnes qui demandent un prêt auprès d'une banque ou d'une société émettrice de cartes de crédit, et qui sont refusées, doivent une explication de la raison pour laquelle cela s'est produit. C'est une bonne idée - car cela peut aider à apprendre aux gens comment réparer leur crédit endommagé - et c'est une loi fédérale, la Loi sur l'égalité des chances de crédit. Obtenir une réponse n'était pas vraiment un problème dans les années passées, quand les humains prenaient ces décisions. Mais aujourd'hui, alors que les systèmes d'intelligence artificielle assistent ou remplacent de plus en plus les gens qui prennent des décisions de crédit, obtenir ces explications est devenu beaucoup plus difficile.

Traditionnellement, un agent de crédit qui a rejeté une demande pouvait dire à un emprunteur potentiel qu'il y avait un problème avec son niveau de revenu ou ses antécédents professionnels, ou quel que soit le problème. Mais les systèmes informatisés qui utilisent complexe machine learning les modèles sont difficiles à expliquer, même pour les experts.

Les décisions de crédit à la consommation ne sont qu'une façon d'aborder ce problème. Des préoccupations similaires exister dans soins de santé, le marketing en ligne et même justice criminelle. Mon propre intérêt dans ce domaine a commencé quand un groupe de recherche dont je faisais partie a été découvert biais de genre dans la façon dont les annonces en ligne ont été ciblées, mais ne pouvait pas expliquer pourquoi c'est arrivé.

Toutes ces industries, et beaucoup d'autres, qui utilisent l'apprentissage automatique pour analyser les processus et prendre des décisions ont un peu plus d'un an pour mieux expliquer le fonctionnement de leurs systèmes. En mai 2018, le nouveau Règlement général de l'Union européenne sur la protection des données prend effet, y compris une section donnant aux gens le droit d'obtenir une explication pour les décisions automatisées qui affectent leur vie. Quelle forme devraient prendre ces explications, et pouvons-nous réellement les fournir?

Identifier les raisons clés

Une façon de décrire pourquoi une décision automatisée a été adoptée est d'identifier les facteurs qui ont le plus influencé la décision. Combien d'une décision de refus de crédit était parce que le demandeur n'a pas fait assez d'argent, ou parce qu'il avait échoué à rembourser des prêts dans le passé?

Mon groupe de recherche à l'Université Carnegie Mellon, y compris l'étudiant au doctorat Shayak Sen et ensuite postdoctoral Yair Zick a créé un moyen de mesurer l'influence relative de chaque facteur. Nous l'appelons l'influence quantitative d'entrée.

En plus de permettre une meilleure compréhension d'une décision individuelle, la mesure peut également éclairer un ensemble de décisions: Un algorithme a-t-il refusé un crédit principalement en raison de préoccupations financières, par exemple combien un candidat doit-il déjà sur d'autres dettes? Ou le code postal du demandeur était-il plus important - suggérant que plus de données démographiques de base telles que la race auraient pu entrer en jeu?

Capture de causalité

Lorsqu'un système prend des décisions en fonction de multiples facteurs, il est important d'identifier les facteurs qui déterminent les décisions et leur contribution relative.

Par exemple, imaginez un système de décision de crédit qui ne prend que deux facteurs, le ratio d'endettement d'un candidat et sa race, et il a été démontré qu'il n'approuvait les prêts que pour les Caucasiens. Savoir combien chaque facteur a contribué à la décision peut nous aider à comprendre si c'est un système légitime ou s'il est discriminant.

Une explication pourrait juste regarder les entrées et les résultats et observer la corrélation - non-Caucasiens n'ont pas obtenu des prêts. Mais cette explication est trop simpliste. Supposons que les non-Caucasiens qui se sont vu refuser des prêts aient aussi des revenus beaucoup plus faibles que les Caucasiens dont les demandes ont été acceptées. Cette explication ne peut donc pas nous dire si la race ou le ratio d'endettement des demandeurs a causé les dénégations.

Notre méthode peut fournir cette information. Expliquer la différence signifie que nous pouvons déterminer si le système est injustement discriminatoire ou s'il examine des critères légitimes, tels que les finances des demandeurs.

Pour mesurer l'influence de la race dans une décision de crédit spécifique, nous refaisons le processus de demande, en gardant le ratio dette-revenu le même mais en changeant la course du demandeur. Si changer la course affecte le résultat, nous savons que la race est un facteur décisif. Sinon, nous pouvons conclure que l'algorithme ne regarde que l'information financière.

En plus d'identifier les facteurs qui sont des causes, nous pouvons mesurer leur influence causale relative sur une décision. Nous faisons cela en variant aléatoirement le facteur (par exemple, la race) et en mesurant la probabilité que le résultat change. Plus la probabilité est élevée, plus l'influence du facteur est grande.

Influence d'agrégation

Notre méthode peut également intégrer plusieurs facteurs qui fonctionnent ensemble. Envisager un système de décision qui accorde du crédit aux candidats qui répondent à deux des trois critères suivants: pointage de crédit au-dessus 600, la propriété d'une voiture, et si le demandeur a entièrement remboursé un prêt au logement. Dites un demandeur, Alice, avec un pointage de crédit de 730 et aucun prêt de voiture ou de la maison, est refusé crédit. Elle se demande si son statut de propriétaire de voiture ou son historique de remboursement de prêt immobilier est la principale raison.

Une analogie peut aider à expliquer comment nous analysons cette situation. Considérons un tribunal où les décisions sont prises à la majorité des voix d'un panel de trois juges, où l'un est un conservateur, un un libéral et le troisième un vote swing, quelqu'un qui pourrait prendre parti pour l'un ou l'autre de ses collègues. Dans une décision conservatrice 2-1, le juge du swing a eu une plus grande influence sur le résultat que le juge libéral.

Les facteurs dans notre exemple de crédit sont comme les trois juges. Le premier juge vote généralement en faveur du prêt, car de nombreux candidats ont un pointage de crédit suffisamment élevé. Le deuxième juge vote presque toujours contre le prêt parce que très peu de candidats ont déjà payé une maison. La décision revient donc au juge du swing qui, dans le cas d'Alice, rejette le prêt parce qu'elle ne possède pas de voiture.

Nous pouvons faire ce raisonnement précisément en utilisant théorie des jeux coopératifs, un système d'analyse plus spécifique de la manière dont différents facteurs contribuent à un résultat unique. En particulier, nous combinons nos mesures de l'influence causale relative avec le Shapley valeur, qui est un moyen de calculer comment attribuer l'influence à plusieurs facteurs. Ensemble, ils forment notre mesure quantitative de l'influence des intrants.

Jusqu'à présent, nous avons évalué nos méthodes sur les systèmes de décision que nous avons créés en formant des algorithmes d'apprentissage automatique communs avec des ensembles de données du monde réel. L'évaluation des algorithmes au travail dans le monde réel est un sujet de travail futur.

Un défi ouvert

Notre méthode d'analyse et d'explication de la façon dont les algorithmes prennent des décisions est la plus utile dans les contextes où les facteurs sont facilement compris par les humains - tels que le ratio d'endettement et d'autres critères financiers.

Cependant, expliquer le processus de prise de décision d'algorithmes plus complexes reste un défi important. Prenez, par exemple, un système de reconnaissance d'image, comme ceux qui détecter et suivre les tumeurs. Il n'est pas très utile d'expliquer l'évaluation d'une image particulière en fonction de pixels individuels. Idéalement, nous aimerions une explication qui donne un aperçu supplémentaire de la décision - comme l'identification des caractéristiques spécifiques de la tumeur dans l'image. En effet, concevoir des explications pour de telles tâches de prise de décision automatisées est de garder de nombreux chercheurs occupé.

A propos de l'auteur

Anupam Datta, professeur agrégé d'informatique et de génie électrique et informatique, Carnegie Mellon University

Cet article a été publié initialement le The Conversation. Lis le article original.

Livres connexes

at Marché InnerSelf et Amazon