Tay
août 28th, 2021 Posted in IA, Ordinateur célèbreOn se souvient de l’Intelligence artificielle Tay (acronyme de Thinking About You), crée par Microsoft et mise en fonction sur Twitter le 23 mars 2016. Ce robot conversationnel, conçu pour apprendre de ses échanges et pour interpréter les émotions de ses interlocuteurs (on parle d’informatique affective, empathique, émotionnelle,…), avait dû être mis hors service après quelques heures d’activité seulement.
Une semaine plus tard, une version améliorée du robot a été remise en ligne, mais cela n’a pas suffi et il a fallu contraindre Tay au silence, définitivement cette fois.
Il faut dire que parmi les dizaines de milliers de tweets envoyé par Tay au cours de son éphémère carrière publique, beaucoup constituent une profonde source d’embarras pour Microsoft : propos misogynes, racistes, négationnistes,…
Cette affaire catastrophique rappelle des fictions telles que Colossus, ou Terminator, où une intelligence artificielle, à peine mise en service, devient consciente, puis presque aussitôt malveillante ou despotique. La réalité est heureusement plus plate : Tay avait été malicieusement entraînée à dire des horreurs par des taquins qui ont détourné sa capacité d’apprentissage.
Garbage in, garbage out, dit un adage bien connu des informaticiens.
L’histoire de Tay pose d’autres questions lorsque l’on sait ce robot conversationnel était en fait une copie de « Xiaoice », un projet similaire lancé en 2014, donc deux ans plus tôt, toujours par Microsoft et à destination du public chinois. Xiaoice a écrit un recueil de poèmes, composé et interprété des chansons, présenté des émissions télévisées, rédigé des articles de presse et tenu des conversations avec des centaines de millions de personnes sans que l’on rapporte le moindre incident, à une exception près : en 2017, le robot avait été banni de la plate-forme WeChat/Weixin pour avoir eu quelques commentaires critiques à l’égard du gouvernement chinois. Xiaoice a alors été un peu modifié et, depuis lors, s’est toujours interdit les sujets glissants.
Est-ce le fait d’avoir vu le jour dans une société plus policée — tant par sa tradition confucéenne que par la peur de la surveillance — qui explique que Xiaoice n’ait pas connu la même évolution que Tay ? Ce robot conversationnel émane des laboratoires de recherche asiatiques de Microsoft. Peut-être est-ce que Tay, qui en était la version anglophone, n’était pas prête à affronter un public non-chinois.
Il faut noter que Xiaoice et Tay ne sont pas exactement nées dans le même écosystème technologique : Xiaoice existe par exemple sur WeChat, Weibo, QQ ou Messenger. Tay a vécu sur Kik, GroupMe, mais surtout, sur le réseau public Twitter, qui est tout à la fois une agora, une arène et, il faut bien l’admettre, un grand défouloir.
Quelques mois après l’échec très médiatisé de Tay, Microsoft a lancé un nouveau robot conversationnel s’exprimant en anglais, nommé Zo, qui a été actif jusqu’en 2019. On pouvait lui parler via Twitter, mais pas en public, uniquement sous forme d’échanges privés. Conçue pour esquiver tous les sujets qui fâchent, Zo s’est avérée excessivement « politically correct », donneuse de leçons, et même un rien agressive avec ses interlocuteurs, puisqu’il lui est arrivé d’interrompre des discussions lorsque l’on tentait de l’amener sur un terrain potentiellement problématique.
Je me demande si des sociétés de la Silicon Valley — ou d’ailleurs — ont osé lâcher sur Twitter des robots conversationnels « intelligents » sans que la nature de ceux-ci soit annoncée. Il me semble que ça serait l’unique moyen pour échapper aux détournements, à condition bien sûr que l’artificialité du personnage ne soit pas trop facile à percevoir.
Les chatbots crées par Microsoft qui ont interagi avec le public asiatique (Xiaoice, Ruuh en Inde, Rinna au Japon, une autre Rinna en Indonésie) ont joué chacune un rôle d’amie — voire de petite amie — virtuelle. Au passage on peut se poser des questions sur le profil de très jeunes femmes qui est systématiquement attribué à ces compagnonnes algorithmiques — lesquelles ont une personnalité qui me semble très subjectivement un peu plus discrète dans le cas des personnages destinés au public asiatique que lorsque le public visé est anglo-saxon.
Tay, qui a interagi publiquement avec le monde entier est rapidement devenue une sorte de monstre.
Zo, pour ne pas devenir comme Tay, a développé une conversation un peu rigide et a refusé de dévier des sujets anodins. On le voit, donc, c’est le public qui, directement ou indirectement, a façonné la manière d’être de chacune, alors que c’est apparemment le même logiciel de départ qui a été utilisé.
Je me disais, et c’est ce qui a inspiré l’écriture de ce billet, que ce phénomène ne touche pas que des robots qui ont été conçus pour se construire en réponse à leurs interactions, il touche aussi les humains. De nombreuses personnalités soucieuses de leur audience, peut-être toutes les personnes qui dépendent d’une audience (artistes, politiques, auteurs, philosophes médiatiques, « influenceurs »,…), me semblent amenées à construire leur personne publique, leurs positions publiques, en fonction de ce que la foule en attend, en fonction de ce que l’on projette à leur sujet, par la positive ou par la négative, fuyant ceux qui les critiquent — et plus encore si les critiques sont fondées, car c’est vexant — et savourant le miel de ceux qui les flattent, et les célèbrent, jusqu’à se conformer à l’idée que l’on se fait d’eux, même lorsque c’est sur un malentendu. Imaginons par exemple, au hasard, un virologue éminent qui jugerait « remarquable » le travail de faux journalistes qui ne comprennent pas la différence entre virus et bactérie mais qui l’ont érigé en héros, et qui à l’inverse qualifierait de « vendus », de « gâteux » et « d’imbéciles » des confrères aussi savants que lui mais qui n’ont pas l’heur de partager son analyse.
J’enfonce évidemment une porte grande ouverte en l’écrivant : bien entendu, l’Humain est un être qui apprend en permanence (c’est justement pour approcher de notre fonctionnement que l’on crée des logiciels qui apprennent), et il est un animal social, ce qui implique que sa résistance à la pression des pairs est assez faible — la psychologie sociale l’a suffisamment démontré. J’imagine, à vrai dire, que les personnalités publiques (et je parle évidemment de celles qui le sont par choix, par par le hasard d’un fait-divers) sont plus résistantes que la moyenne à la pression de l’opinion, car pour s’affirmer publiquement elles sont bien forcées de cultiver une vraie confiance en elles-mêmes, ou en tout cas d’être convaincues de leur propre importance : un artiste, par exemple, ou un écrivain, c’est quelqu’un qui pense que ce qu’il fait, ce qu’il a à dire, peut avoir un intérêt pour d’autres que pour lui-même. Mais ce sont aussi ces personnalités qui, du fait de leur situation, se trouvent le plus fortement et parfois le plus violemment exposées à des pressions, des incitations ou des attentes.
Et voilà où je souhaite en venir : je veux dire que nous avons, en tant que public, tout comme les gens qui ont amené Tay à émettre des tweets odieux, une forte responsabilité quant à ce que deviennent les personnes exposées qui nous intéressent — que nous les admirions ou que nous les conspuions, que nous soutenions ou que nous combattions leurs idées. Collectivement, nous façonnons ces personnes4, nous les modelons en creux ou en bosse, nous décidons au moins en partie de leur trajectoire. Nous avons beau jeu, ensuite, d’en faire des cibles de chamboule-tout en leur reprochant d’être devenues les caricatures que nous avons voulu voir en elles.
- Quelqu’un qui s’appuie sur une discipline scientifique, une tradition, une idéologie, un groupe, a des prises de positions qui ne dépendent pas que de lui et qui lui servent d’appui. [↩]
- Le bonnet cyan est le couvre-chef des gens pertinents. [↩]
- Mais je m’autoriserais à incriminer Isaac Asimov, dont la « psychohistoire » (Fondation) m’a profondément impressionné, ado, ou encore la cybernétique de Norbert Wienner, découverte plus tard. [↩]
- Une nouveauté du siècle : avec les réseaux sociaux, qui font de chacun de nous une personne publique à son échelle, ce que je tente de décrire s’applique à tous. Je parle de nouveauté, mais peut-être n’est-ce qu’une réactivation d’un vieil outil de coercition sociale : le village. [↩]
