Discrimination et algorithmes

Après les grandes études expérimentales sur les discrimination viennent celles sur les biais des algorithmes. Un article de S. Mullainathan est l’occasion de souligner à quel point les biais algorithmiques peuvent être plus aisés à détecter et à corriger.

Quinze ans après l’étude sur la discrimination à l’embauche “Are Emily and Greg more employable than Lakisha and Jamal?”, Sendhil Mullainathan vient de participer à une étude qui a déjà fait beaucoup parler d’elle aux États-Unis : avec ses co-auteurs, il a mis en évidence qu’un algorithme utilisé pour déterminer le niveau de traitement des patients (et déjà employé sur plus d’une centaine de millions de personnes) présentait un biais racial marqué. À symptômes identiques, les Africains-Américains étaient alloués à un niveau de traitement moins intensif. La cause ? Pour mesurer l’état général de santé, l’algorithme utilisait comme proxy le niveau de dépenses de santé – qui du fait des inégalités aux États-Unis est plus faible chez les Africains-Américains, qui se trouvaient donc réputés en meilleure santé pour l’algorithme.

Ainsi que le souligne S. Mullainathan dans un article pour le New York Times, les deux articles ont des modus operandi et des conséquences très différentes. Pour le premier, il a fallu envoyer des milliers de CV, attendre les réponses, et le constat empirique d’une discrimination au niveau agrégé ne donne que peu d’éléments sur les moyens de lutter contre elle. De fait, l’Opuscule du CEPREMAP décrivant une expérience similaire en France (La discrimination à l’embauche sur le marché du travail français) figure régulièrement parmi les titres les plus téléchargés de la collection.

Pour le scond, les choses ont été opérationnellement beaucoup plus simples, puisqu’il a suffit d’établir une liste de profils fictifs, et de les faire traiter par l’algorithme. Un bon contrôle des variations entre les profils a suffit à mettre en évidence le biais, et la documentation de l’algorithme a permis d’en identifier la cause. Les chercheurs ont offert leur aide pour corriger ce biais, et les producteurs de programmes de ce type se sont empressés d’accepter. La recherche a eu ainsi un impact immédiat dans la réduction d’un biais.

Pour S. Mullainathan, cette espérience indique que si le constat que les données sont biaisées (parce que ceux qui les ont produites sont eux-mêmes biaisés), les biais qui en découlent dans les algorithmes entraînés sur ces données ne sont pas toujours inéluctables, et surtout peuvent être détectés et corrigés de manière beaucoup plus simple et rapide que les biais initiaux. Là où on entend parler de gouvernance des algorithmes comme d’une terra incognita, il fait remarquer qu’une gouvernance de ce type existe déjà dans le système financier, où les modèles employés doivent être intégralement documentés, recalibrés et retestés à fréquence régulière

Sendhil Mullainathan , “Biased Algorithms Are Easier to Fix Than Biased People”, The New York Times, 2019-12-06

Marianne Bertrand, Sendhil Mullainathan, “Are Emily and Greg More Employable than Lakisha and Jamal? A Field Experiment on Labor Market Discrimination”, NBER Working Paper No. 9873, Issued in July 2003

Ziad Obermeyer, Brian Powers, Christine Vogeli, Sendhil Mullainathan; “Dissecting racial bias in an algorithm used to manage the health of populations”, Science, 25 Oct 2019: Vol. 366, Issue 6464, pp. 447-453
DOI: 10.1126/science.aax2342

La discrimination à l’embauche sur le marché du travail français

Nicolas Jacquemet, Anthony Edo, La discrimination à l’embauche sur le marché du travail français, Paris : Ed. ENS Rue d’Ulm et CEPREMAP, Opuscule no 31, Mars 2013, ISBN 978-2-7288-0489-4


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.