Ordinateur raciste
décembre 21st, 2009 Posted in Filmer autrement, ParanoDans une vidéo assez hilarante diffusée sur Youtube, deux collègues (employés d’un magasin, apparemment) font la démonstration du (dys)fonctionnement d’une webcam « intelligente » de marque Hewlett-Packard. Conçue pour reconnaître les visages et pour les suivre1, le système fonctionne bien avec l’employée « blanche » mais s’interrompt brutalement chaque fois que l’employé « noir » entre dans le champ de la caméra. Il conclut : « Hewlett-Packard computer are racist ! ».
… Et il a bien évidemment raison.
Car si les ordinateurs ne sont pas racistes — ce ne sont que des machines — leur programmation, leurs fonctionnalités et leurs réglages trahissent les intentions ou les « impensés » de leurs concepteurs. Le programme n’a pas été fait pour rechercher des personnes membres de l’espèce humaine mais pour n’en identifier qu’une certaine partie. J’imagine mal un projet conscient de la part de Hewlett-Packard même s’il me semble que cette marque communique nettement moins sur la « diversité » (et sur les humains en général du reste) que ses concurrents IBM, Microsoft ou Apple. Dans le cas présent, il semble surtout qu’aucun test de reconnaissance du visage par ce système n’ait été fait avec des noirs, ce qui laisse supposer qu’aucun employé de la marque en question impliqué dans la création de ce système n’est noir car le défaut aurait rapidement été identifié sinon. Cela pose sans doute en premier lieu la question de la sociologie des informaticiens, dont le recrutement, à niveau d’études égal, donne un net avantages aux « blancs », du moins aux États-Unis où ce type de statistiques existe2 — la République française ne reconnaît pas les « races », ce qui est tout à son honneur, mais c’est à double-tranchant puisque de ce fait, les statistiques qui permettraient de dénoncer une situation similaire ne sont pas disponibles.
La reconnaissance faciale est une des applications à la mode dans l’électronique grand public présente (appareils photos) ou à venir (consoles de jeu vidéo), je suppose que ce genre de situation devrait se poser à nouveau.
Au cours des Entretiens du Nouveau monde industriel, Adam Greenfield (de Nokia, auteur de Everyware : La révolution de l’ubimédia) a évoqué les panneaux publicitaires « intelligents » (capables de surveiller leurs spectateurs) installés à New York par une société française (le système Numériflash de la société Majority Report3 ou le système concurrent de la société Qividi ?) étaient d’ores et déjà conçus pour identifier non les individus mais les groupes sociaux, culturels ou ethniques (« femme asiatique d’une quarantaine d’années », etc.) à fins de collecte statistique ou de ciblage publicitaire. On peut par exemple imaginer que le système découvrira que les gens qui regardent des publicités à cinq heures du matin appartiennent en majorité à tel groupe ethnique, ce qui permettra par exemple de ne leur proposer que certaines publicités. On peut en concevoir l’utilité : les grandes marques de cosmétiques ont par exemple des gammes de produits différentes selon qu’elles s’adressent à leur clientèle d’origine asiatique, africaine ou européenne et on imagine sans difficulté l’intérêt qu’elles pourraient retirer d’un système interactif de ce genre.
Lorsqu’un tel projet sera réalisé à grande échelle, il y aura bien là une forme de ségrégation (sociale plus que précisément raciste) dans le traitement informatique des individus, puisqu’à l’intérieur d’un même espace urbain, nous seront enfermés dans des clichés socio-culturels. La ville réagira (en termes d’offre de services, d’informations et de droits d’accès) à notre présence selon ce que notre apparence physique, nos vêtements et nos trajets lui enseigneront. La ville se configurera différemment pour nous selon qu’elle nous aura identifié au petit matin comme une femme de ménage en route pour préparer les bureaux d’une entreprise, un fêtard qui rentre se coucher, un travailleur sans papiers qui attend qu’on l’emmène sur un chantier ou un agent de sécurité qui commence sa journée.
Il serait naïf d’imaginer que les personnes appartenant aux groupes que je mentionne vivent véritablement dans la même ville en même temps4 : leurs trajets, leurs lieux, leur rythme et tout leur usage de la ville sont sans doute déjà bien différents. Mais ce système, par son caractère discret, renforcera encore un peu plus les murs invisibles qui séparent les membres de groupes sociaux distincts — tout en donnant à chacun l’illusion confortable d’être pris en compte pour ce qu’il est — ou ce que l’on a réussi à lui faire croire qu’il est.
(mise à jour du 22/12) La société Hewlett-Packard a fait savoir qu’elle prenait l’affaire de la « webcam raciste » très au sérieux, tout en se défaussant un peu, expliquant que l’algorithme de reconnaissance des visages fonctionnait mal dans de mauvaises conditions d’éclairage et de contraste.
- On utilise le mot « tracking » pour parler de l’identification et de la poursuite d’un objet par un système informatique. Ce mot a la même origine étymologique que les mots français « trace » ou « traque ». [↩]
- Voir notamment les publications de la Coalition to diversify computing de la Computer Research Association. [↩]
- Nom choisi en hommage au film Minority Report évidemment, où les publicités personnalisent leurs messages en fonction de l’identification qu’il font des passants. [↩]
- Le problème est le même sur Internet du reste : malgré les apparences, le réseau n’est pas le même selon les personnes et les frontières géographiques et politiques y ont un poids bien plus important que nous ne le supposons d’instinct. [↩]
10 Responses to “Ordinateur raciste”
By arnaud on Déc 21, 2009
Il serait intéressant aussi de prendre en compte les systèmes de « tracking » présents dans nos villes. À Londres (ou à Amiens), je ne doute pas que l’on puisse — à défaut de détecter la couleur de peau — ranger les personnes filmées par niveaux de dangerosité en fonction qu’elles portent une casquette, un bonnet, une capuche ou une cravate…
By Jean-Michel on Déc 21, 2009
Ne manque plus à la reconnaissance vocale d’être sourde au verlan.
By jluc on Déc 22, 2009
Pas obligé de regarder les écrans de pub nan ?
en plus le femme de ménage à 5h00 du mat doit être vachement réceptive à la pub …
By Jean-no on Déc 22, 2009
Pas obligé de regarder les écrans de pub ? Sans doute que non, mais le fait est que nous les regardons, y compris les femmes de ménage à 5:00 du matin à mon avis.
By hugues on Déc 31, 2009
Cet article est bien démagogique.
il y a une explication bien plus simple: la reconnaissance de visage est un programme qui demande un travail de mise au point conséquent. Cela coûte de l’argent et il faut prioriser. Il y a très certainement quelqu’un qui a décidé qu’il fallait d’abord traiter correctement les visages blancs, qui représentent la majeure partie de la clientèle. On peut même supposer que la reconnaissance de visages noirs soit plus compliquée, pour des raisons de contraste.
Vous pourriez avec cet etat d’esprit accuser Apple d’être raciste anti français parce que la reconnaissance vocale ne fonctionne pas comme en anglais.
A force de crier au loup, on n’entend plus quand il y a de vraies raisons de s’inquiéter
By Jean-no on Déc 31, 2009
Je suppose que vous m’avez lu un peu en diagonale car je ne crie pas au loup, je réfléchis juste à la question. Votre vision de la chose (HP aurait sciemment « priorisé » le public blanc qui représente la majeure partie de la clientèle) serait, si elle était avérée, bien plus embarrassante dans le contexte américain actuel que celle que je suppose (HP et le sous-traitant auteur du programme n’ont pas pensé à tester ce logiciel sur des visages aux peaux noires).
Sur la reconnaissance vocale, la localisation se fait vraiment langue par langue et elle est bien plus délicate qu’une vague affaire de réglages. Cependant les choix de localisation ne sont pas forcément innocents : si Apple s’occupe de la reconnaissance vocale en anglais et peut-être un jour en français (il me semble que ça a existé à l’époque des Macintosh Quadra, d’ailleurs, mais les performances étaient douteuses), certaines langues passeront après d’autres et ça signifiera quelque chose en termes de marketing, de diffusion de la marque Apple, mais aussi de disponibilité de techniciens de la langue ou de la programmation capables de se pencher sur telle ou telle langue. Certaines langues de pays pourtant développés et ayant de nombreux locuteurs sont délaissées dans les localisations par rapport à d’autres qui ont un poids économique équivalent. Parce qu’on les a oubliés ? Parce que c’est techniquement plus difficile ? Il peut y avoir mille raisons et il est intéressant d’y réfléchir car ces négligences, ces priorités et ces oublis trahissent souvent des pensées ou des non-pensées.
By Jean-Michel on Jan 10, 2010
http://failblog.files.wordpress.com/2010/01/epic-fail-equality-fail.jpg
By Karl-Groucho on Nov 27, 2012
À « Jean-no on déc 22, 2009
Pas obligé de regarder les écrans de pub ? Sans doute que non, mais le fait est que nous les regardons, y compris les femmes de ménage à 5:00 du matin à mon avis. »
Naaan ! justement, bien plus vicelard que ça. On ne « regarde » pas, mais la vision périphérique nous fait emmagasiner l’info (la désinfo !) à notre insu !
By DM on Nov 29, 2012
@Jean-Noël: Selon mon expérience, les informaticiens américains sont en effet plutôt « blancs », « asiatiques » (chinois, coréens), et « indiens » (Inde, Pakistan). Il y a très peu de « noirs » ou d' »hispaniques ».
Il me semble d’ailleurs que ton idée selon laquelle cette industrie fonctionnerait aux USA essentiellement avec des « blancs » retarde de quelques décennies. Enfin, ça doit dépendre de l’endroit.
Ce qui est étonnant c’est qu’avec une pareille distribution d’origines « ethniques », personne ne se soit rendu compte que les teints foncés n’étaient pas reconnus; en effet, certains indiens ont la peau très sombre.
By Jean-no on Nov 29, 2012
@DM : Effectivement, je n’avais pas pensé à ça, il y a beaucoup d’indiens dans l’industrie informatique américaine. Reste le résultat : le logiciel est mal réglé.