L’IA est-elle raciste ? Dans la foulée des émeutes suscitées par la mort de George Floyd aux Etats-Unis, la question est revenue sur le devant de la scène, tandis que de plus en plus de voix s’élèvent pour encadrer les algorithmes et lutter contre les discriminations de tous ordres que peuvent engendrer ces technologies…
La polémique suscitée par l’usage des technologies de reconnaissance faciale dans le cadre du maintien de l’ordre aux Etats-Unis, ainsi que les biais inhérents à ces technologies, ont obligé les acteurs du secteur à réagir : Microsoft a annoncé l’arrêt de la commercialisation de ses outils de reconnaissance faciale auprès de la police, tandis qu’Amazon décrétait un moratoire d’un an sur le sujet. Quant à IBM, il a tout simplement annoncé l’abandon de ses recherches sur le sujet.
Les cas de biais racistes dans les algorithmes ne se limitent malheureusement pas à la reconnaissance d’images : les discriminations engendrées par les algorithmes de scoring bancaire, de recrutement, d’accès aux soins ou même de définition des prix des courses Uber sont fréquemment pointées du doigt. Souvent, ces discriminations sont basées sur des critères géographiques plus que sur des critères ethniques, mais les résultats sont les mêmes, comme dans le cas de ce service de cours particuliers en ligne, qui adaptait ses prix en fonction de l’adresse IP de ses clients… Résider dans un quartier à forte densité d’habitants d’origine asiatique se traduisait par des prix presque deux fois supérieurs !
Des données biaisées, un risque pour les droits fondamentaux
Mais doit-on en conclure, comme Charlton McIlwain, professeur à la NYU, que “la technologie est conçue pour perpétuer le racisme”, ainsi qu’il l’explique dans la MIT Technology Review ? La question est plus complexe : avant d’être défaillante et conçue pour nuire, l’IA reflète surtout les propres préjugés et inégalités de la société. Cette limite tient à la façon dont les algorithmes sont créés et “entraînés”. “Les données d’apprentissage peuvent être biaisées si elles reflètent des décisions humaines discriminatoires” explique ainsi le professeur de droit Frederik Zuiderveen Borgesius dans une étude pour le Conseil de l’Europe.
En France, la CNIL et le Défenseur des droits ont tiré la sonnette d’alarme et appelé à la mobilisation, en incitant le régulateur à aller au-delà du cadre déjà mis en place par le RGDP. Les deux institutions s’inquiétant des risques posés par les algorithmes pour les droits fondamentaux : “tout comme les bases de données qui les alimentent, ils sont conçus et générés par des humains dont les stéréotypes, en se répétant automatiquement, peuvent engendrer des discriminations.”
Le (contre-)exemple américain
Le logiciel COMPAS, testé par la justice américaine pour évaluer les risques de récidive, en est un malheureux exemple : il établit un score pour chaque prévenu en fonction de nombreux critères, corrélés aux données historiques sur la criminalité. À dossier équivalent, il s’avère beaucoup plus sévère pour les afro-américains que pour les autres prévenus, comme l’a révélé une enquête de ProPublica en 2016.
Cette situation n’est que le reflet de ce que pratiquent déjà les juges : la justice américaine emprisonne plus massivement les noirs que les blancs. Mais intégrer cette dimension à la “boîte noire” des algorithmes, c’est courir le risque de la légitimer, pour longtemps, et à plus large échelle encore. “Les ordinateurs ne se fatiguent jamais et n’ont jamais besoin de repos. Donc si vous leur donnez de mauvaises instructions, vous automatisez la répétition infinie des erreurs…” alertait récemment John Maeda, Chief Experience Officer de Publicis Sapient dans une interview pour INfluencia.
Les solutions : diversité, formations et audits indépendants
Alors, que faire ? “Il semble difficile d’imputer le racisme aux seuls algorithmes, mais il ne faut pas pour autant minimiser le rôle de la technologie et de ceux qui la font. Si ces derniers ne créent pas les inégalités et les différences de traitement, la culture et le manque de diversité de leurs entreprises tendent à les renforcer” explique Guillaume Jaeger, consultant et chargé d’enseignement à Sciences Po, qui s’est penché récemment sur le sujet.
Promouvoir la diversité dans les équipes de développement est d’ailleurs l’une des pistes proposées par l’Institut Montaigne pour concevoir des “algorithmes équitables”. Parmi les autres solutions avancées : la formation des techniciens et ingénieurs aux risques de biais, la définition de protocole de tests inspirés des études cliniques médicales, la mise en place de labels ou encore donner la capacité à la puissance publique d’auditer les algorithmes à fort impact… face à l’enjeu, la question ne doit pas rester dans les seules mains des entreprises tech.
