Comment les algorithmes peuvent être plus justes que les humains

Amazon a récemment commencé à offrir livraison le jour même dans certaines régions métropolitaines. Cela peut être bon pour de nombreux clients, mais le déploiement montre comment la prise de décision informatisée peut également fournir une forte dose de discrimination.

Sensiblement, la société a commencé son service dans les zones où les coûts de livraison seraient les plus bas, en identifiant les codes postaux des endroits densément peuplés chez de nombreux clients Amazon existants avec des niveaux de revenus assez élevés pour faire des achats fréquents de produits livrables le jour même. La société a fourni une page Web permettant aux clients d'entrer leur code postal pour voir si la livraison le jour même les a servis. Les journalistes d'investigation de Bloomberg News ont utilisé cette page pour créer des cartes de la zone de service d'Amazon pour la livraison le jour même.

L'analyse de Bloomberg a révélé que de nombreuses zones urbaines pauvres étaient exclues de la zone de service, tandis que des zones voisines plus riches étaient incluses. Beaucoup de ces zones pauvres exclues étaient principalement habitées par des minorités. Par exemple, tout Boston était couvert à l'exception de Roxbury; La couverture de New York City comprenait la quasi-totalité des quatre arrondissements, mais complètement exclu le Bronx; La couverture de Chicago a laissé de côté la partie sud appauvrie, tout en s'étendant substantiellement aux banlieues aisées du nord et de l'ouest.

Alors qu'il est tentant de croire que les décisions basées sur les données sont impartiales, recherche et discussion savante commencent à démontrer que l'injustice et la discrimination demeurent. Dans mon cours en ligne sur l'éthique des données, les étudiants apprennent que les algorithmes peuvent discriminer. Mais il y a peut-être un peu d'espoir: comme le suggère la recherche de Bloomberg, il peut être plus facile de détecter les biais sur la base des données.

Le biais peut être involontaire

L'injustice comme celle de la politique de livraison d'Amazon peut survenir pour de nombreuses raisons, y compris biais cachés - telles que les hypothèses selon lesquelles les populations sont réparties uniformément. Les concepteurs d'algorithmes n'ont probablement pas l'intention de discriminer, et peuvent même ne pas réaliser qu'un problème s'est glissé dedans.


graphique d'abonnement intérieur


Amazon a déclaré à Bloomberg qu'il n'avait aucune intention discriminatoire, et il y a toutes les raisons de croire cette affirmation. En réponse au rapport Bloomberg, ville fonctionnaires et d'autres politiciens appelé sur Amazon pour résoudre ce problème. L'entreprise déplacé rapidement pour ajouter l'origine excluait les codes postaux urbains pauvres dans sa zone de service.

Une question similaire a été demandé à Uber, qui semble mieux desservir les zones habitées par des proportions plus élevées de Blancs. Il est probable qu'il y aura plus d'exemples de discrimination algorithmique non intentionnelle découverts à l'avenir dans le secteur du commerce de détail et des services.

Demander trop d'algorithmes?

Nous devrions faire une pause un moment pour examiner si nous sommes indûment exigeants des décisions algorithmiques. Les entreprises qui gèrent des magasins de brique et de mortier prennent des décisions de localisation tout le temps, en tenant compte de critères qui ne sont pas si différents d'Amazon. Les magasins tentent d'avoir des emplacements qui conviennent à un grand nombre de clients potentiels avec de l'argent à dépenser.

En conséquence, peu de magasins choisissent de s'installer dans les quartiers défavorisés du centre-ville. Particulièrement dans le contexte des épiceries, ce phénomène a été longuement étudié, et le terme "désert alimentaire"A été utilisé pour décrire les zones urbaines dont les résidents n'ont pas facilement accès à de la nourriture fraîche. Ce biais de localisation est moins étudié pour les magasins de détail dans l'ensemble.

À titre d'exemple, j'ai regardé les sites 55 Michigan de Target, une grande chaîne de vente au détail complète. Lorsque j'ai trié tous les codes postaux du Michigan selon que leur revenu moyen se situait dans la moitié supérieure ou la moitié inférieure, j'ai constaté que seulement 16 des magasins Target (29 pourcent) figuraient dans les codes postaux du groupe à faible revenu. Plus de deux fois plus de magasins 39 étaient situés dans des codes postaux de la moitié la plus aisée.

Identifier la discrimination

De plus, il n'y a pas de magasins Target dans la ville de Detroit, bien qu'il y en ait plusieurs dans ses banlieues (plus riches). Pourtant, il n'y a eu aucun tollé général alléguant que Target fait injustement de la discrimination envers les pauvres dans ses décisions de localisation. Il y a deux raisons principales pour justifier les inquiétudes concernant Amazon: la rigidité et la domination.

La rigidité a à voir avec les processus de prise de décision du détaillant en ligne et avec le résultat. Amazon décide quels codes postaux sont dans sa zone de service. Si une cliente vit juste en face de la limite définie par Amazon, elle est en dehors de la zone de service et peut faire peu de choses à ce sujet. En revanche, une personne qui vit dans un code postal sans magasin cible peut toujours faire des achats chez Target - même si cela peut prendre plus de temps pour y arriver.

Il importe également de savoir à quel point un détaillant est dominant dans l'esprit des consommateurs. Alors que Target n'est qu'une des nombreuses chaînes de magasins physiques, Amazon jouit dominance du marché en tant que détaillant en ligneet attire donc plus d'attention. Une telle domination est une caractéristique de la le gagnant prend tout les entreprises web.

Bien que leur rigidité et leur position dominante puissent nous inquiéter davantage au sujet des entreprises en ligne, nous sommes également mieux en mesure de détecter leur discrimination que nous le sommes pour les magasins de brique et de mortier. Pour une chaîne de magasins traditionnelle, nous devons deviner jusqu'où les consommateurs sont prêts à voyager. Nous pouvons également avoir besoin d'être conscients du temps: Cinq miles à la prochaine sortie de l'autoroute ne sont pas la même chose que cinq miles par les rues encombrées de l'autre côté de la ville. De plus, le temps de déplacement lui-même peut varier considérablement en fonction de l'heure de la journée. Après avoir identifié les zones susceptibles d'être desservies par un magasin, elles peuvent ne pas correspondre parfaitement aux unités géographiques pour lesquelles nous disposons de statistiques sur la race ou le revenu. En bref, l'analyse est désordonnée et demande beaucoup d'efforts.

En revanche, il aurait fallu quelques heures aux journalistes de Bloomberg pour développer une carte de la zone de service d'Amazon et la corréler avec le revenu ou la race. Si Amazon avait fait cela en interne, ils auraient pu effectuer la même analyse en quelques minutes - et peut-être remarqué les problèmes et les a corrigés avant même le service le jour même.

Comment les humains se comparent-ils?

Jetons un coup d'oeil à un exemple très différent pour voir comment les mêmes points s'appliquent largement. Récemment, ProPublica a publié une excellente analyse de la discrimination raciale par un algorithme qui prédit la probabilité d'une infraction pénale à nouveau. L'algorithme prend en compte des dizaines de facteurs et calcule une estimation de probabilité. L'analyse de ProPublica a révélé un biais racial systématique important, même si la race ne faisait pas partie des facteurs spécifiques considérés.

Sans l'algorithme, un juge humain ferait une estimation similaire, dans le cadre d'une décision de condamnation ou de libération conditionnelle. La décision humaine pourrait envisager un ensemble plus riche de facteurs, tels que le comportement de la salle d'audience du criminel. Mais nous savons, de études en psychologie, Que la prise de décision humaine est remplie de biais, même lorsque nous faisons de notre mieux pour être juste.

Mais toutes les erreurs qui résultent d'un parti pris dans les décisions des juges sont susceptibles d'être différentes entre les juges, et même pour des décisions différentes prises par le même juge. Dans l'ensemble, il peut y avoir une discrimination raciale due à préjugé subconscientmais établir cela de manière concluante est délicat. Une étude du département de la Justice des États-Unis a trouvé des preuves solides de disparités dans la condamnation des détenus blancs et noirs, mais ne pouvait pas déterminer clairement si la race elle-même était un facteur dans ces décisions.

En revanche, le même algorithme que ProPublica a utilisé est utilisé dans des milliers de cas dans de nombreux états. Sa rigidité et son grand volume facilitent le travail de détermination de la discrimination - et peuvent offrir des moyens de remédier efficacement au problème.

L'utilisation de la technologie de l'information semble rendre les lignes plus lumineuses, les différences plus marquées et les données sur tout cela beaucoup plus facilement disponibles. Ce qui pourrait être brossé sous le tapis hier clameurs pour attirer l'attention. Comme nous trouvons de plus en plus d'utilisations pour les algorithmes basés sur les données, il n'est pas encore courant d'analyser leur équité, en particulier avant le lancement d'un nouveau service basé sur les données. Le faire ainsi ira un long chemin à mesurer, et à améliorer, l'équité de ces calculs informatisés de plus en plus importants.

A propos de l'auteurThe Conversation

HV Jagadish, Bernard A Galler Professeur collégial de génie électrique et d'informatique, Université du Michigan

Cet article a été publié initialement le The Conversation. Lis le article original.

Livres connexes

at Marché InnerSelf et Amazon