Nous devons connaître les algorithmes que le gouvernement utilise pour prendre des décisions nous concernant

Nous devons connaître les algorithmes que le gouvernement utilise pour prendre des décisions nous concernant

Dans les systèmes de justice pénale, les marchés du crédit, les emplois, les processus d’admission dans l’enseignement supérieur et même réseaux de médias sociaux, algorithmes pilotés par les données maintenant conduire la prise de décision de manière à toucher notre vie économique, sociale et civique. Ces systèmes logiciels classent, classifient, associent ou filtrent les informations à l’aide de règles créées par l’homme ou induites par les données, qui permettent un traitement cohérent sur de larges populations.

Mais si ces techniques peuvent générer des gains d’efficacité, elles peuvent aussi biais du port contre les groupes défavorisés or renforcer la discrimination structurelle. En matière de justice pénale, par exemple, est-il juste de porter un jugement sur la libération conditionnelle d'un individu en fonction de tendances statistiques mesurées sur un large groupe de personnes? L'application d'un modèle statistique pourrait-elle entraîner une discrimination? développé pour la population d'un État à un autre, population démographiquement différente?

Le public doit comprendre les biais et le pouvoir des algorithmes utilisés dans la sphère publique, y compris par les agences gouvernementales. Un effort auquel je participe, appelé responsabilité algorithmique, cherche à rendre les influences de ces systèmes plus claires et plus largement comprises.

Les techniques de transparence existantes, lorsqu'elles sont appliquées à des algorithmes, pourraient permettre aux utilisateurs de surveiller, auditer et critiquer le fonctionnement de ces systèmes - ou non, selon le cas. Malheureusement, les organismes gouvernementaux ne semblent pas préparés aux enquêtes sur les algorithmes et leurs utilisations dans les décisions qui affectent de manière significative les individus et le grand public.

Ouverture d'algorithmes à l'examen du public

L'année dernière, le gouvernement fédéral a commencé à étudier les avantages et les inconvénients de l'utilisation de l'analyse de données informatisée pour aider à déterminer le risque de récidive des détenus dans leur prison. Noter les individus comme présentant un risque faible, moyen ou élevé peut aider à prendre des décisions en matière de logement et de traitement, en identifiant les personnes qui peuvent être envoyées en toute sécurité à une prison à sécurité minimale ou même à une «maison de transition», ou qui bénéficieraient d'un type particulier de traitement. prise en charge psychologique.

Cette information peut rendre le processus de justice plus efficace et moins coûteux, et même réduire l'encombrement des prisons. Traiter les délinquants à faible risque comme les délinquants à risque élevé a été démontré dans certaines études pour les amener à devenir des criminels «malades» et à avoir besoin d'un traitement pour leur comportement déviant. En les séparant, on peut ainsi réduire le développement de comportements négatifs pouvant conduire à la récidive après la libération.

Les données et les algorithmes permettant de calculer le risque de récidive des détenus sont déjà disponibles. largement utilisé par les états pour gérer la détention provisoire, la probation, la libération conditionnelle et même la peine. Mais il est facile pour eux de passer inaperçus - ils ressemblent souvent à des documents bureaucratiques sans prétention.

En règle générale, les algorithmes se résument à des feuilles de pointage simplifiées remplies par des fonctionnaires ne comprenant pas bien les calculs sous-jacents. Par exemple, un travailleur social peut évaluer un prisonnier en utilisant un formulaire dans lequel il note que le prisonnier a été déclaré coupable d'un crime violent, était jeune au moment de la première arrestation et n'avait pas obtenu son diplôme d'études secondaires GED. Ces facteurs et autres caractéristiques de la personne et du crime donnent un score qui suggère si le détenu pourrait être admissible à un examen de la libération conditionnelle.

Le formulaire lui-même, ainsi que son système de notation, présente souvent des caractéristiques clés de l'algorithme, telles que les variables considérées et la manière dont elles se combinent pour former un score de risque global. Mais ce qui est également important pour la transparence algorithmique est de savoir comment ces formulaires ont été conçus, développés et évalués. Ce n’est qu’ainsi que le public pourra savoir si les facteurs et les calculs nécessaires pour obtenir le score sont justes et raisonnables, ou mal informés et partiaux.

Utilisation de la loi sur la liberté d'information

Notre outil principal pour mettre la main sur ces formulaires et sur leurs supports est la loi, et en particulier les lois sur la liberté d’information. Ils font partie des mécanismes les plus puissants dont le public dispose pour assurer la transparence du gouvernement. Au niveau fédéral, le Loi sur la liberté d'information (FOIA) permet au public de demander officiellement - et s'attendre à recevoir en retour - des documents du gouvernement fédéral. Des lois analogues existent pour chaque état.

Promulguée dans 1966, FOIA a été créée avant l’utilisation généralisée de l’informatique, et bien avant que de grandes quantités de données ne soient utilisées de manière routinière dans des systèmes logiciels pour gérer des individus et faire des prédictions. Il y a eu quelques recherches initiales FOIA est-il en mesure de faciliter la divulgation du code source du logiciel? Mais il reste une question à savoir si les lois actuelles répondent aux besoins du public du 21st siècle: pouvons-nous utiliser les algorithmes FOIA?

Une étude de cas en transparence algorithmique

Je me suis mis à répondre à cette question à la Collège de journalisme Philip Merrill à l'Université du Maryland, où je suis professeur assistant. À l'automne de 2015, en collaboration avec le cours de droit des médias de ma collègue Sandy Banisky, nous avons guidé les étudiants dans la soumission de demandes FOIA à chacun des États de 50. Nous avons demandé des documents, des descriptions mathématiques, des données, des évaluations de validation, des contrats et du code source relatifs aux algorithmes utilisés en justice pénale, tels que les décisions de libération conditionnelle et de probation, de mise en liberté sous caution ou de détermination de la peine.

En tant que projet d'un semestre, l'effort était nécessairement limité par le temps, avec beaucoup d'obstacles et relativement peu de succès. Comme pour beaucoup d'enquêtes de journalistes, même trouver à qui demander - et comment - était un défi. Différents organismes peuvent être responsables de différents domaines du système de justice pénale (la condamnation peut être prononcée par un tribunal, mais la gestion de la libération conditionnelle par un département pénitentiaire).

Même après avoir identifié la bonne personne, les étudiants ont découvert que les responsables gouvernementaux utilisaient une terminologie différente rendant difficile la communication des informations souhaitées. Parfois, les étudiants ont dû travailler dur pour expliquer les «algorithmes de justice pénale» à un fonctionnaire peu averti des données. Rétrospectivement, il aurait peut-être été plus efficace de demander des «outils d’évaluation des risques», ce terme étant souvent utilisé par les gouvernements des États.

Traiter les réponses

Certains États, comme le Colorado, ont catégoriquement rejeté notre demande, affirmant que les algorithmes étaient contenus dans des logiciels, qui n'étaient pas considérés comme un «document» obligeant les autorités à rendre publiques les lois du gouvernement. Différents états ont des règles différentes sur la divulgation de l'utilisation des logiciels. Cela a parfois fait surface dans les tribunaux, comme un 2004 poursuite contre la ville de Detroit sur la question de savoir si la formule de calcul des redevances d’eau appliquée à une ville adjacente devrait être rendue publique.

Dans nos propres efforts, nous n’avons reçu qu’une description mathématique d’un algorithme de justice pénale: Oregon divulgué les variables 16 et leurs poids dans un modèle utilisé ici pour prédire la récidive. L’État du Dakota du Nord a publié une feuille de calcul Excel illustrant l’équation utilisée pour déterminer les dates auxquelles les détenus seraient admissibles à la libération conditionnelle. De l'Idaho et du Nouveau-Mexique, nous avons reçu des documents contenant quelques descriptions des évaluations du risque de récidive utilisées par ces États, mais aucun détail sur la manière dont elles ont été développées ou validées.

Neuf États ont fondé leur refus de divulguer des détails sur leurs algorithmes de justice pénale sur l'affirmation selon laquelle les informations étaient réellement la propriété d'une entreprise. Cette implication est que la publication de l'algorithme nuirait à l'entreprise qui l'a développé. Un questionnaire commun sur le risque de récidive, appelé le LSI-R, s'avère être un produit commercial, protégé par le droit d'auteur. Des États comme Hawaii et le Maine ont affirmé que cela empêchait leur divulgation au public.

La Louisiane a déclaré que son contrat avec le développeur d'une nouvelle technique d'évaluation des risques empêchait la divulgation des informations demandées pendant six mois. L’État du Kentucky a cité son contrat avec un fondation philanthropique comme la raison il ne pourrait pas divulguer plus de détails. Les préoccupations concernant les informations confidentielles sont peut-être légitimes, mais étant donné que le gouvernement passe régulièrement des contrats avec des entreprises privées, comment pouvons-nous concilier ces préoccupations avec un système de justice explicable et même légitime?

Faire des améliorations

La réforme nécessaire de la FOIA est en cours de délibération par le Congrès. Cela donne l'occasion de moderniser la loi, mais les modifications proposées ne permettent toujours pas de prendre en compte l'utilisation croissante des algorithmes au sein du gouvernement. Information de transparence algorithmique pourrait être codifié dans des rapports que le gouvernement génère et rend publics sur une base régulière, dans le cadre de ses activités habituelles.

En tant que société, nous devrions exiger que les responsables de l’information soient formés de manière à ce qu’ils maîtrisent bien la terminologie à laquelle ils sont susceptibles de faire face lorsque le public demande des algorithmes. Le gouvernement fédéral pourrait même créer un nouveau poste pour un «tsar des algorithmes», un ombudsman chargé de communiquer et de mener des enquêtes sur l'automatisation du gouvernement.

Aucun des documents que nous avons reçus au cours de notre recherche ne nous disait comment les formulaires d’évaluation des risques de la justice pénale avaient été élaborés ou évalués. Comme les algorithmes régissent de plus en plus nos vies, les citoyens ont besoin - et doivent exiger - plus de transparence.

A propos de l'auteur

diakopoulos nicholasNicholas Diakopoulos, boursier Tow, Centre Tow pour le journalisme numérique à l'Université Columbia; Professeur assistant de journalisme à l'Université du Maryland. Ses recherches portent sur le journalisme informatique et informatique, en mettant l'accent sur la redevabilité algorithmique, la visualisation de données narrative et l'informatique sociale dans l'actualité.

Cet article a été publié initialement le La Conversation. Lis le article original.

Livres connexes

{amazonWS: searchindex = Livres; mots-clés = confidentialité numérique; maxresults = 3}

enafarzh-CNzh-TWtlfrdehiiditjamsptrues

suivez InnerSelf sur

facebook-icontwitter-iconrss-icon

Recevez le dernier par courriel

{Emailcloak = off}