Les algorithmes de reconnaissance faciale sont généralement testés à l'aide de visages blancs, ce qui empêche la technologie de différencier les individus racialisés. (Shutterstock)
La police de Detroit a arrêté à tort Robert Julian-Borchak Williams en janvier 2020 pour un vol à l'étalage survenu deux ans plus tôt. Même si Williams n'avait rien à voir avec l'incident, la technologie de reconnaissance faciale utilisée par la police de l'État du Michigan "correspondait" à son visage avec une image granuleuse obtenue à partir d'une vidéo de surveillance en magasin montrant un autre homme afro-américain prenant 3,800 dollars de montres.
Deux semaines plus tard, l'affaire a été classée à la demande du parquet. Cependant, se fondant sur le match défectueux, la police avait déjà menotté et arrêté Williams devant sa famille, l'a forcé à fournir une photo, des empreintes digitales et un échantillon de son ADN, l'avait interrogé et emprisonné pendant la nuit.
Les experts suggèrent que Williams n'est pas seul et que d'autres ont été victimes d'injustices similaires. La controverse en cours sur l'utilisation de Clearview AI par la police souligne certainement les risques pour la vie privée posés par la technologie de reconnaissance faciale. Mais il est important de réaliser que nous ne supportons pas tous ces risques de la même manière.
Formation d'algorithmes racistes
Technologie de reconnaissance faciale formés et adaptés aux visages caucasiens identifie systématiquement les personnes racialisées de manière erronée et les qualifie de manière erronée: de nombreuses études indiquent que la technologie de reconnaissance faciale est «imparfait et biaisé, avec des taux d'erreur nettement plus élevés lorsqu'il est utilisé contre des personnes de couleur. »
Ce porte atteinte à l'individualité et à l'humanité des personnes racialisées qui sont plus susceptibles d'être identifiés à tort comme criminels. La technologie - et les erreurs d'identification qu'elle commet - reflète et renforce les divisions sociales de longue date qui sont profondément enchevêtrées avec le racisme, le sexisme, l'homophobie, le colonialisme des colons et d'autres oppressions croisées.
{vembed Y=vSuDE6wvQlU}
Une enquête France24 sur les préjugés raciaux dans les technologies de reconnaissance faciale.
Comment la technologie catégorise les utilisateurs
Dans son livre révolutionnaire de 1993, Le tri panoptique, le chercheur Oscar Gandy a averti que «la technologie complexe [qui] implique la collecte, le traitement et le partage d'informations sur les individus et les groupes générées au cours de leur vie quotidienne ... est utilisée pour coordonner et contrôler leur accès aux biens et services qui définissent la vie en l’économie capitaliste moderne. » Les forces de l'ordre l'utilisent pour arracher des suspects au grand public, et les organisations privées l'utilisent pour déterminer si nous avons accès à des choses comme bancaire ainsi que emploi.
Gandy a prévenu prophétiquement que, si elle n'était pas contrôlée, cette forme de «triage cybernétique» désavantagerait de manière exponentielle les membres des communautés en quête d'égalité - par exemple, les groupes racialisés ou socio-économiquement défavorisés - à la fois en termes de ce qui leur serait alloué et comment ils pourraient arriver à se comprendre.
Quelque 25 ans plus tard, nous vivons maintenant avec le type panoptique sur les stéroïdes. Et les exemples de ses effets négatifs sur les communautés en quête d'égalité abondent, comme la fausse identification de Williams.
Biais préexistant
Ce tri à l'aide d'algorithmes infiltre les aspects les plus fondamentaux de la vie quotidienne, provoquant dans son sillage à la fois des violences directes et structurelles.
La violence directe subie par Williams est immédiatement évidente dans les événements entourant son arrestation et sa détention, et les préjudices individuels qu'il a subis sont évidents et peuvent être attribués aux actions de la police qui a choisi de s'appuyer sur la «correspondance» de la technologie pour procéder à une arrestation. Plus insidieux est le violence structurelle perpétré par la technologie de reconnaissance faciale et autres technologies numériques qui évaluent, apparient, catégorisent et trient les individus de manière à amplifier les schémas discriminatoires préexistants.
Les préjudices de la violence structurelle sont moins évidents et moins directs, et portent préjudice aux groupes en quête d'égalité par le déni systématique du pouvoir, des ressources et des opportunités. Simultanément, cela augmente les risques directs et les préjudices pour les membres individuels de ces groupes.
Utilisations de la police prédictive traitement algorithmique des données historiques pour prédire quand et où de nouveaux crimes sont susceptibles de se produire, affecte les ressources policières en conséquence et intègre une surveillance policière renforcée dans les communautés, généralement dans les quartiers à faible revenu et racialisés. Cela augmente les chances que toute activité criminelle - y compris une activité criminelle moins grave qui pourrait autrement n'entraîner aucune réponse de la police - soit détectée et punie, ce qui limite en fin de compte les chances dans la vie des personnes qui vivent dans cet environnement.
Et les preuves d'iniquités dans d'autres secteurs continuent de s'accumuler. Des centaines d'étudiants au Royaume-Uni a protesté le 16 août contre les résultats désastreux de Ofqual, un algorithme défectueux utilisé par le gouvernement britannique pour déterminer quels étudiants seraient admissibles à l'université. En 2019, le service d'annonces de microtargeting de Facebook aidé des dizaines d'employeurs des secteurs public et privé exclure les gens de recevoir des offres d'emploi sur la base de l'âge et du sexe. Les recherches menées par ProPublica ont documenté discrimination de prix fondée sur la race pour les produits en ligne. Et les moteurs de recherche produisent régulièrement des résultats racistes et sexistes.
L'oppression perpétuelle
Ces résultats sont importants car ils perpétuent et aggravent les inégalités préexistantes fondées sur des caractéristiques telles que la race, le sexe et l'âge. Ils sont également importants car ils affectent profondément la façon dont nous apprenons à nous connaître et à connaître le monde qui nous entoure, parfois en présélectionner les informations nous recevons de manière à renforcer les perceptions stéréotypées. Même les entreprises technologiques reconnaissent urgence d'empêcher les algorithmes de perpétuer la discrimination.
À ce jour, le succès des enquêtes ad hoc, menées par les entreprises technologiques elles-mêmes, a été incohérent. Parfois, les entreprises impliquées dans la production de systèmes discriminatoires les retirent du marché, par exemple lorsque Clearview AI a annoncé qu'elle n'offrirait plus la technologie de reconnaissance faciale au Canada. Mais souvent, de telles décisions résultent d'un examen réglementaire ou d'un tollé public uniquement après les membres des communautés en quête d'égalité ont déjà été lésés.
Il est temps de donner à nos institutions de réglementation les outils dont elles ont besoin pour s'attaquer au problème. Les simples protections de la vie privée qui reposent sur l'obtention du consentement individuel pour permettre la saisie et la réutilisation des données par les entreprises ne peuvent pas être séparées des résultats discriminatoires de cette utilisation. Cela est particulièrement vrai à une époque où la plupart d'entre nous (y compris les entreprises technologiques elles-mêmes) ne peut pas comprendre pleinement ce que font les algorithmes ou pourquoi ils produisent des résultats spécifiques.
La vie privée est un droit de l'homme
Une partie de la solution consiste à briser les silos réglementaires actuels qui traitent la vie privée et les droits de l'homme comme des questions distinctes. S'appuyer sur un modèle de protection des données fondé sur le consentement va à l'encontre du principe de base selon lequel la vie privée et l'égalité sont toutes deux des droits de l'homme qui ne peuvent être sous-traités.
Pourtant, la Charte numérique du Canada - la dernière tentative du gouvernement fédéral pour répondre aux lacunes de l'état actuel de l'environnement numérique - maintient ces distinctions conceptuelles. Il traite la haine et l'extrémisme, le contrôle et le consentement, et la démocratie forte comme des catégories distinctes.
Pour lutter contre la discrimination algorithmique, nous devons reconnaître et définir à la fois la vie privée et l'égalité comme des droits humains. Et nous devons créer une infrastructure à la fois attentive et experte dans les deux. Sans de tels efforts, l'éclat brillant des mathématiques et de la science continuera à camoufler les préjugés discriminatoires de l'IA, et on peut s'attendre à ce que des travestissements tels que celui infligé à Williams se multiplient.
À propos des auteurs
Jane Bailey, professeur de droit et co-leader du projet eQuality, L'Université d'Ottawa / Université d'Ottawa; Jacquelyn Burkell, vice-présidente associée, Recherche, Université Western, et Valerie Steeves, professeure ordinaire, L'Université d'Ottawa / Université d'Ottawa
Cet article est republié de The Conversation sous une licence Creative Commons. Lis le article original.
Livres sur les inégalités de la liste des meilleures ventes d'Amazon
« Caste : les origines de nos mécontentements »
par Isabel Wilkerson
Dans ce livre, Isabel Wilkerson examine l'histoire des systèmes de castes dans les sociétés du monde entier, y compris aux États-Unis. Le livre explore l'impact de la caste sur les individus et la société, et offre un cadre pour comprendre et traiter les inégalités.
Cliquez pour plus d'informations ou pour commander
"La couleur de la loi: une histoire oubliée de la façon dont notre gouvernement a séparé l'Amérique"
par Richard Rothstein
Dans ce livre, Richard Rothstein explore l'histoire des politiques gouvernementales qui ont créé et renforcé la ségrégation raciale aux États-Unis. Le livre examine l'impact de ces politiques sur les individus et les communautés, et propose un appel à l'action pour lutter contre les inégalités persistantes.
Cliquez pour plus d'informations ou pour commander
"La somme de nous : ce que le racisme coûte à tout le monde et comment nous pouvons prospérer ensemble"
par Heather McGhee
Dans ce livre, Heather McGhee explore les coûts économiques et sociaux du racisme et propose une vision pour une société plus équitable et plus prospère. Le livre comprend des histoires d'individus et de communautés qui ont défié l'inégalité, ainsi que des solutions pratiques pour créer une société plus inclusive.
Cliquez pour plus d'informations ou pour commander
"Le mythe du déficit : la théorie monétaire moderne et la naissance de l'économie populaire"
par Stéphanie Kelton
Dans ce livre, Stephanie Kelton remet en question les idées conventionnelles sur les dépenses publiques et le déficit national, et propose un nouveau cadre pour comprendre la politique économique. Le livre comprend des solutions pratiques pour lutter contre les inégalités et créer une économie plus équitable.
Cliquez pour plus d'informations ou pour commander
"Le nouveau Jim Crow : l'incarcération de masse à l'ère du daltonisme"
par Michelle Alexander
Dans ce livre, Michelle Alexander explore les façons dont le système de justice pénale perpétue l'inégalité raciale et la discrimination, en particulier contre les Noirs américains. Le livre comprend une analyse historique du système et de son impact, ainsi qu'un appel à l'action pour la réforme.
