Overblog
Editer l'article Suivre ce blog Administration + Créer mon blog

Publié par JD

Clarisse Treilles ZD Net. . 12/06/2020.

Si l'erreur est humaine, elle est aussi algorithmique. Microsoft l'a expérimentée à ses dépens.

La croyance selon laquelle la machine n'a jamais tort est tenace. Et pourtant, la machine, tout comme l'humain, n'échappe pas non plus aux biais algorithmiques. Ces dérives, de plus en plus de professionnels en ont conscience. La reconnaissance faciale est d'ailleurs régulièrement citée dans les débats publics, comme en atteste le cas récent d'IBM, qui a fait le choix d'abandonner cette technologie, craignant qu'elle soit utilisée à des fins de discrimination raciale.

 

Chez Microsoft, la rédaction de MSN.com a été largement vidée de ses journalistes pendant le confinement, remplacés par des robots, selon des informations rapportées par la presse anglophone. Les utilisateurs peuvent désormais voir des contenus, sur les pages d'accueil du site et son navigateur Edge, gérés et édités par l'IA.

Cette incursion de l'intelligence artificielle dans le journalisme n'est pas encore tout à fait au point. Une semaine après ces annonces, le Guardian a révélé le premier couac du logiciel d'intelligence artificielle, qui a confondu les photos de deux chanteuses métisses du groupe britannique Little Mix dans un reportage... sur le racisme. Une erreur qui n'est pas passée inaperçue, très vite signalée sur les réseaux sociaux par l'une des deux femmes concernées.

Une fois l'erreur détectée, un porte-parole de Microsoft a déclaré : « dès que nous avons pris conscience de ce problème, nous avons immédiatement pris des mesures pour le résoudre et avons remplacé l'image incorrecte ». Quant aux autres membres du personnel humain, ils ont été invités à rester vigilants sur la sélection et l'édition des articles par les robots sur MSN.com.

Comment prévenir des discriminations automatiques ?

Selon une étude d'une chercheuse au MIT produite en 2018, les taux d'erreur du logiciel Rekognition d'Amazon augmentent selon le genre et la couleur de la peau : il est de 1 % pour les hommes de peaux claires, 7 % pour les femmes de peaux claires, 12 % pour les hommes de couleur et 35 % pour les femmes de couleur. Si ces marges d'erreur sont très parlantes, l'étude a notamment montré que le stock de données sur lesquelles le modèle s'appuyait était marqué par une très forte prédominance des visages masculins et blancs. Ces chiffres renvoient à un débat particulièrement actuel, puisque Amazon a décidé cette semaine qu'un moratoire d'un an sur l'utilisation par les forces de l'ordre de sa technologie serait appliqué.

Si les algorithmes éprouvent autant de difficultés à reconnaître des personnes non blanches, comment faire pour y remédier ? C'est la question à laquelle le Défenseur des Droits s'est attelé, fin mai, en rédigeant avec la CNIL un rapport sur les biais discriminatoires causés par l'INA. Si de tels outils numériques, dont l'usage s'est accru avec la crise sanitaire, sont « désormais utilisés dans des domaines tels que l'accès aux prestations sociales, la police, la justice ou encore le recrutement, ils constituent des sources de progrès, mais sont également porteurs de risques pour les droits fondamentaux », ont défendu ses auteurs.

« Derrière l'apparente neutralité des algorithmes, des recherches ont mis à jour l'ampleur des biais qui peuvent intervenir lors de leur conception et leur déploiement. Tout comme les bases de données qui les alimentent, ils sont conçus et générés par des humaines dont les stéréotypes, en se répétant automatiquement, peuvent engendrer des discriminations », évoquent-ils.

Anticiper les effets.

Le Défenseur des Droits pense qu'il est urgent de « former et sensibiliser les professionnels » alors que « la réalité sociale des discriminations et le cadre du droit antidiscriminatoire sont encore très mal connus et peu pris en compte par les experts des données et des algorithmes en Europe ».

S'il mesure les avantages à « soutenir la recherche pour développer les études de mesure et les méthodologies de prévention des biais », le Défenseur des Droits encourage également le « renforcement des obligations en matière d'information, de transparence et d'explicabilité des algorithmes ».

Le Défenseur des Droits préconise enfin de réaliser des études d'impact « pour anticiper les effets discriminatoires des algorithmes », et se dit favorable, au-delà de l'évaluation préalable, à un « contrôle régulier des effets des algorithmes après leur déploiement » sur le modèle du contrôle des effets indésirables des médicaments.

Pour être informé des derniers articles, inscrivez vous :