Il est temps de briller une lumière sur les algorithmes qui Puissance Big Brother

Le tri par les algorithmes nous met dans des boîtes. Comment savons-nous qu'ils sont les bons? généré, CC BYLe tri par les algorithmes nous met dans des boîtes. Comment savons-nous qu'ils sont les bons? généré, CC BY

La société semble se diriger vers un point où nos vies sont soumises à l'examen des algorithmes informatiques. Les données que nous produisons sont examinées et analysées, que ce soit par les gouvernements pour la sécurité nationale ou les entreprises à but lucratif, et cela ne changera probablement pas - la puissance et l'attrait de l'analyse des données, une fois trouvées, ne seront pas abandonnées facilement.

Mais en vérité je me demande si je m'inquiète davantage de la collecte de nos données ou du fait que nous ne savons rien des algorithmes qui nous jugent.

Le niveau de détail de nos vies et de nos habitudes, qui peut être défiguré à partir des données que nous avons laissées, a déjà été discuté auparavant, et il fait l'objet d'une nouvelle discussion dans le cadre du débat sur le projet britannique. Bill Powers Investigatory. Nous savons au moins quelque chose sur les données collectées et leur durée de conservation, dont certaines sont régies par le droit britannique et européen.

Dans le texte du projet de loiPar exemple, nous savons que le gouvernement du Royaume-Uni demandera «seulement» (injustifié) l'accès aux métadonnées de communication, aux en-têtes et sujets des courriels et aux enregistrements d'appels téléphoniques. Mais nous savons aussi à quel point les métadonnées peuvent être révélatrices: regardez le Projet Immersion du MIT Media Lab pour un exemple puissant de juste combien de détails peuvent être constatés à partir de celui-ci. C'est certainement pas du tout comparable à une facture de téléphone détaillé, comme revendiqué.

Donc, pour le meilleur ou pour le pire, nous, le public, avons une idée de ce qui est enregistré. Mais nous n'avons absolument aucune idée des outils et des techniques d'analyse qui sont appliqués à ces données - et leur importance ne doit pas être sous-estimée.

Qu'est-ce qui craque les nombres?

Nous pouvons faire des suppositions éclairées. Les agences de sécurité nationale utilisent probablement nos métadonnées pour générer des réseaux sociaux entre les personnes et les lieux, entre autres, nous reliant ensemble. Ces réseaux de relations seront ensuite analysés pour déterminer si nous sommes une personne d'intérêt, déterminée par la façon dont vous comparez avec d'autres personnes d'intérêt, et comment vous vous connectez à des personnes d'intérêt existantes ou liées à eux.

Les chercheurs qui utilisent ces techniques comprennent leurs limites et les algorithmes qui les alimentent peuvent contenir des erreurs ou des hypothèses sous-jacentes qui ont un effet profond sur leur production. Dans ce cas, cela peut signifier si vous êtes étiqueté comme un terroriste ou non, ou si vous êtes admissible à un prêt ou une hypothèque.


Obtenez les dernières nouvelles d'InnerSelf


Il n'est pas clair non plus où, dans les zones frontalières floues, l'existence d'une relation est définie. Est-ce que visiter simplement le même site Web qu'un terroriste implique des valeurs partagées, ou faire la même route tous les jours, vous suggère de converser régulièrement avec des terroristes? Il est tout à fait possible de visiter des sites fréquentés par des terroristes connus pour de nombreuses raisons légitimes. Si vous recevez vos nouvelles des mêmes sites que les terroristes, êtes-vous plus susceptible d'être un terroriste? Discrimination et partialité peut être introduit au moment de la collecte des données, puis à nouveau lorsque des décisions sont prises sur la façon d'analyser ces données. Les algorithmes peuvent également discriminer.

Limites floues

La possibilité que les algorithmes introduisent un biais indésirable est très réelle. Par exemple, ceux utilisés par les services de sécurité sont formés sur des bases de données de terroristes connus et de non-terroristes connus. Est-ce que cela signifie que, comme la plupart des terroristes connus sont des hommes âgés 20-30, vous êtes plus susceptible d'être classé comme un terroriste pour être simplement un homme et avoir vieilli à peu près 20-30, indépendamment de vos autres attributs? Si oui, cela a-t-il un effet significatif sur la façon dont les données sont utilisées?

Le problème provient du fait que moi-même et d'autres chercheurs utilisant des techniques complexes d'analyse de réseau, d'apprentissage automatique, d'appariement de modèles ou d'intelligence artificielle utilisent nos techniques pour évaluer la force des techniques et la validité des conclusions. les services de sécurité gouvernementaux et les organisations du secteur privé ne le font pas. Nous n'avons aucune idée de la qualité de leurs méthodes et de la façon dont elles les déploient. Y a-t-il une solution à cela?

Ceux d'un autre domaine de la sécurité, la cryptographie, ont appris depuis longtemps que le meilleur moyen d'améliorer la qualité, et donc la sécurité, de ses algorithmes était de les rendre publics. Les implémentations cryptographiques et les chiffrements sont publiés, et les chercheurs encouragés à essayer de trouver des erreurs ou des failles, ce qui améliore la sécurité pour tous ceux qui les utilisent. De plus, toute mise en œuvre d'algorithmes cryptogaphiques fermés (non publics) est généralement considérés avec suspicion. S'ils doivent prononcer sur nous des jugements qui changent la vie - que nous soyons étiquetés comme des terroristes ou indignes financièrement - le même modèle devrait être appliqué aux algorithmes de sécurité.

Un argument contre un tel mouvement est que des algorithmes ouverts et transparents pourraient conduire les terroristes à modifier leur comportement dans le monde réel afin d'éviter d'être détecté. Cela signifierait changer des choses comme leurs interactions, associations, habitudes de navigation, et potentiellement des mouvements. Mais cela, si les algorithmes fonctionnent correctement, signifierait qu'ils cessent essentiellement d'agir comme des terroristes. Si notre sécurité, notre liberté et notre sécurité futures vont dépendre de ces algorithmes, nous devons être assurés exactement comment - et cela - ils fonctionnent.

A propos de l'auteurLa Conversation

Philip Garnett, chargé de cours, Université de York.

Cet article a été publié initialement le La Conversation. Lis le article original.

Livre connexe:

{amazonWS: searchindex = Livres, mots-clés = 0393244814; maxresults = 1}

enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

suivez InnerSelf sur

facebook-icontwitter-iconrss-icon

Recevez le dernier par courriel

{Emailcloak = off}

DES ÉDITEURS

InnerSelf Newsletter: Septembre 27, 2020
by Personnel InnerSelf
L'une des grandes forces de la race humaine est notre capacité à être flexible, à être créatif et à sortir des sentiers battus. Être quelqu'un d'autre que nous étions hier ou la veille. Nous pouvons changer...…
Ce qui fonctionne pour moi: "Pour le plus grand bien"
by Marie T. Russell, InnerSelf
La raison pour laquelle je partage «ce qui fonctionne pour moi» est que cela peut également fonctionner pour vous. Si ce n'est pas exactement la façon dont je le fais, puisque nous sommes tous uniques, une certaine variation de l'attitude ou de la méthode pourrait très bien être quelque chose ...
Avez-vous fait partie du problème la dernière fois? Ferez-vous partie de la solution cette fois?
by Robert Jennings, InnerSelf.com
Vous êtes-vous inscrit pour voter? Avez-vous voté? Si vous n'allez pas voter, vous ferez partie du problème.
InnerSelf Newsletter: Septembre 20, 2020
by Personnel InnerSelf
Le thème de la newsletter de cette semaine peut se résumer comme suit: «vous pouvez le faire» ou plus précisément «nous pouvons le faire!». C'est une autre façon de dire "vous / nous avons le pouvoir de faire un changement". L'image de…
Ce qui fonctionne pour moi: "Je peux le faire!"
by Marie T. Russell, InnerSelf
La raison pour laquelle je partage «ce qui fonctionne pour moi» est que cela peut également fonctionner pour vous. Si ce n'est pas exactement la façon dont je le fais, puisque nous sommes tous uniques, une certaine variation de l'attitude ou de la méthode pourrait très bien être quelque chose ...