Accéder au contenu principal

New York veut surveiller ses algorithmes pour qu'ils évitent de prendre des décisions biaisées

Flickr/Vincent Desjardins

À New York, le conseil municipal veut qu'un groupe de travail contrôle les décisions prises par les algorithmes utilisés par la police et la justice. Un choix politique dont l'Europe devrait s'inspirer.

PUBLICITÉ

Les algorithmes ont pris, ces dernières années, une importance croissante dans nos vies. Ils gèrent l’information que l’on obtient sur les réseaux sociaux, les films qui apparaissent dans notre catalogue Netflix ou le prix des billets d’avion que l’on va payer pour partir en vacances de Noël. Les données et les algorithmes sont partout, tout le temps, et ont une résonnance infiniment politique.

VOIR AUSSI : Hally, l'oracle du Net qui montre l'influence des algorithmes sur nos vies numériques

La ville de New York semble s’en être rendu compte. Le conseil municipal vient de voter, mardi 19 décembre, une "loi de responsabilité algorithmique", qui semble être une première dans le monde entier.

La loi, que le maire Bill De Blasio devrait ratifier avant la fin du mois de décembre, devrait permettre de créer un groupe de travail, une sorte de détachement spécial au sein de la mairie pour vérifier que les algorithmes utilisés par la police de New York, les tribunaux et une dizaine d’autres institutions ne sont pas biaisés.

Les biais des systèmes de décision automatisés

Le groupe devra donc faire des essais sur ces algorithmes en déterminant une méthodologie de travail, mais aussi trouver un moyen pour que les citoyens puissent comprendre les décisions de ces algorithmes quand ils ne leur conviennent pas, ou encore déterminer si les codes sources des algorithmes utilisés par les différentes agences peuvent être rendus publics.

Prenons, par exemple, les "systèmes de décision automatisés" (automated decision system), qui sont utilisés par la justice pour déterminer si une mise en liberté sous caution est acceptable pour un détenu. Il est possible que l’algorithme qui gère ce système de décision soit biaisé à cause des données sur lesquelles il se fonde. La tâche du groupe de travail sera ainsi de vérifier, à l’intérieur même des lignes de code, que l’algorithme ne fasse pas reposer ses décisions sur des préjugés ou des données erronées.

Le groupe de travail en question sera formé dans les trois mois suivant la signature de la loi par Bill De Blasio. Il devra inclure "des personnes avec une expertise dans la justice, la responsabilité et la transparence relative aux systèmes de décision automatisés, et des personnes d’organismes à but non lucratif qui représentent des personnes affectées par les décisions des systèmes de décisions automatisées", comme le souligne TechCrunch.

En Europe, le néant

La décision du conseil municipal de New York est à saluer, alors que de nombreux avocats réclamaient depuis plusieurs mois la mise en place d’un système de garde-fou de ce type. En Europe, rien de tel ne semble exister.

En octobre 2016, la députée européenne finlandaise Liisa Jaakonsaari avait demandé, lors d’une session de questions à la Commission européenne, si les problématiques liées à la transparence et à la responsabilité des algorithmes seraient un jour abordées. "(…) Il n’y a pas de législation, pas de bonnes pratiques ou de guides sur la responsabilité et la transparence algorithmique", demandait-elle aux commissaires. Un mois plus tard, en novembre, l’Alliance des libéraux et démocrates pour l’Europe organisait un débat sur le sujet à Strasbourg.

En France, il faut remonter encore plus loin, en 2014. Le Conseil d’État avait proposé de mettre en place des garanties de procédure et de transparence pour les algorithmes prédictifs. L’idée était de créer un encadrement à l’échelle nationale, mais ces propositions sont restées lettre morte.

Quelque chose à ajouter ? Dites-le en commentaire.

Cette page n'est pas disponible.

Il semblerait qu'il y ait une erreur de notre côté et que cette page ne soit pas disponible. Nos équipes vont se pencher sur la question pour résoudre ce problème au plus tôt.