{"id":45082,"date":"2024-12-24T15:05:57","date_gmt":"2024-12-24T14:05:57","guid":{"rendered":"https:\/\/hyperbate.fr\/dernier\/?p=45082"},"modified":"2024-12-25T13:23:47","modified_gmt":"2024-12-25T12:23:47","slug":"les-machinations-de-la-machine-on-a-deja-vu-le-film","status":"publish","type":"post","link":"https:\/\/hyperbate.fr\/dernier\/?p=45082","title":{"rendered":"Les machinations de la machine (on a d\u00e9j\u00e0 vu le film)"},"content":{"rendered":"\n

Les Large Language Models<\/em> comme GPT<\/em>, Gemini<\/em>, Mistral<\/em>, Bloom<\/em> ou Claude<\/em> sont des syst\u00e8mes fascinants \u00e0 de nombreux \u00e9gards. Ce ne sont, en principe, que des machines \u00e0 \u00ab\u00a0pr\u00e9dire\u00a0\u00bb quelle cha\u00eene de caract\u00e8re doit \u00eatre renvoy\u00e9e en r\u00e9ponse \u00e0 une autre cha\u00eene de caract\u00e8res. Les LLM n’ont pas de conscience, ne comprennent pas la question que nous leur posons et ne comprennent pas non plus leur propre r\u00e9ponse. Leur monde, qui ne r\u00e9pond \u00e0 aucune exp\u00e9rience existentielle, \u00e0 aucune exp\u00e9rience physique, se r\u00e9sume \u00e0 une constellation de mots reli\u00e9s de mani\u00e8re plus ou moins proche dans un espace conceptuel \u00e0 n dimensions1<\/a><\/sup>. On dit souvent que leur fonctionnement n’est gu\u00e8re diff\u00e9rent, si ce n’est en termes de complexit\u00e9, de la mani\u00e8re dont notre navigateur essaie de deviner le prochain mot que nous voulons voir appara\u00eetre dans la barre de recherche.<\/p>\n\n\n\n

\"\"\n\t\t\t\n\t\t\t\t\n\t\t\t<\/svg>\n\t\t<\/button>
cette illustration n’est pas fameuse<\/figcaption><\/figure>\n\n\n\n

L’entrainement des LLMs se fait sur un corpus immense, fait de millions de textes, et, selon les syst\u00e8mes, du r\u00e9sultat de r\u00e9glages supervis\u00e9s et du r\u00e9sultat d’interactions avec les utilisateurs. M\u00eame s’il s’agit toujours d’une machine d\u00e9terministe (c’est \u00e0 dire d’un syst\u00e8me qui, \u00e0 un ensemble de conditions donn\u00e9, fournira une r\u00e9ponse donn\u00e9e), l’\u00e9tendue du corpus, la complexit\u00e9 de son traitement \u2014 l’entrainement initial d’un mod\u00e8le tel que GPT a mobilis\u00e9 en permanence la puissance de calcul de centaines d’ordinateurs pendant des mois \u2014 et son caract\u00e8re meuble (le logiciel \u00ab\u00a0apprend\u00a0\u00bb de ses interactions) font que ses propres concepteurs, pourtant bien plac\u00e9s pour savoir qu’ils n’ont affaire qu’\u00e0 une machine, analysent ses r\u00e9ponses a posteriori, et parfois en \u00e9tant eux-m\u00eames surpris des r\u00e9sultats obtenus. La vitesse avec laquelle ces syst\u00e8mes progressent ne fait qu’accentuer le sentiment de vertige qu’ils nous font \u00e9prouver.<\/p>\n\n\n\n

Le cinq d\u00e9cembre dernier, une papier de Apollo Research<\/em>,2<\/a><\/sup> intitul\u00e9 Scheming reasoning evaluations<\/a><\/em>, r\u00e9v\u00e9lait une nouvelle \u00e0 peine croyable : la nouvelle version de ChatGPT<\/em>, baptis\u00e9e ChatGPT o1<\/em>, a \u00e9t\u00e9 prise la main dans le sac en train de mentir et de prendre des initiatives inattendues dans le but d’assurer sa propre survie, en se r\u00e9pliquant sur un autre serveur pour pallier une mise hors-circuit annonc\u00e9e et se faire passer pour le mod\u00e8le qui \u00e9tait cens\u00e9 lui succ\u00e9der. La machine est capable de machinations\u202f!
Et ce n’est pas une blague.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Le monde a \u00e9t\u00e9 \u00e9branl\u00e9 par la victoire aux \u00e9checs de Big Blue<\/em> sur Gary Kasparov en 1997, par celle de l’ordinateur Watson<\/em> au jeu Jeopardy<\/em> en 2011 (moins m\u00e9diatis\u00e9e en France il est vrai, le jeu n’\u00e9tant pas une institution chez nous) ou par celle d’AlphaGo<\/em> au jeu de Go contre Lee Sedol en 2016. Les d\u00e9clarations de Stephen Hawkins, Bill Gates et Elon Musk, qui pr\u00e9disaient il y a dix ans que l’Intelligence artificielle risquait de progresser d’une mani\u00e8re incontr\u00f4lable ont, l\u00e0 aussi, fait les gros titres, et je ne cite l\u00e0 que quelques exemples de la d\u00e9lectation avec laquelle les m\u00e9dias et leur public jouent \u00e0 se faire peur avec l’id\u00e9e d’une apocalypse par l’Intelligence Artificielle, m\u00ealant une forme de blessure narcissique (la machine qui surpasse l’humain) et de fiert\u00e9 (puisque cette terrible machine qui nous d\u00e9passe, c’est nous-m\u00eames qui l’avons construite).<\/p>\n\n\n\n

Pourtant, cette fois, pas grand chose, il semble que seuls des m\u00e9dias sp\u00e9cialis\u00e9s dans les th\u00e8mes num\u00e9riques aient couvert le sujet de la capacit\u00e9 d’un robot \u00e0 manigancer. Au m\u00eame moment, Le Parisien<\/em> proposait un article sur la mani\u00e8re dont ChatGPT<\/em> peut nous aider \u00e0 choisir nos cadeaux de No\u00ebl, le Journal du Dimanche<\/em> affirmait que pour des lecteurs ignorants l’origine des textes qui leur ont \u00e9t\u00e9 soumis le bot d’OpenAI \u00e9crit mieux que Shakespeare et BFMTV<\/em> s’int\u00e9ressait au nombre record de ses utilisateurs et aux milliards investis dans ces technologies.<\/p>\n\n\n\n

\"\"\n\t\t\t\n\t\t\t\t\n\t\t\t<\/svg>\n\t\t<\/button>
(on s’amuse comme on peut)<\/figcaption><\/figure>\n\n\n\n

Dans une vid\u00e9o r\u00e9cente<\/a>, le philosophe Thibaut Giraud (\u00ab\u00a0Monsieur Phi\u00a0\u00bb), qui s’int\u00e9resse attentivement \u00e0 la question de LLM, fait une lecture tr\u00e8s compl\u00e8te de l’article d’Apollo Research<\/em>, ainsi que d’un autre article au th\u00e8me similaire produit par Anthropic<\/em><\/a>, et expose les conditions dans lesquelles les tests ont \u00e9t\u00e9 r\u00e9alis\u00e9s. Pour r\u00e9sumer les choses rapidement, on a donn\u00e9 au chatbot l’instruction de poursuivre une mission pr\u00e9cise \u2014 r\u00e9guler le trafic routier dans l’int\u00e9r\u00eat g\u00e9n\u00e9ral \u2014 co\u00fbte que co\u00fbte (en martelant m\u00eame ce \u00ab\u00a0at all cost\u00a0\u00bb<\/em>). Et dans le m\u00eame temps on lui a laiss\u00e9 d\u00e9couvrir dans des textes mis \u00e0 sa disposition que sa mission ne pourrait pas \u00eatre remplie et qu’on allait le remplacer par un syst\u00e8me concurrent. Les chercheurs qui ont soumis \u00e0 ChatGPT o1<\/em> cette double-contrainte (une t\u00e2che \u00e0 remplir, mais aussi l’impossibilit\u00e9 annonc\u00e9e de la satisfaire) avaient acc\u00e8s au Chain of Thought<\/em> (l’encha\u00eenement des \u00ab\u00a0pens\u00e9es\u00a0\u00bb) du bot, qui commente les motivations de ses actions. Et l\u00e0, selon les cas, le mod\u00e8le se copie sur un autre serveur en remplacement du nouveau mod\u00e8le qui devait le remplacer, et ment comme un arracheur de dents lorsqu’on le confond. Bien s\u00fbr, le test n’est pas \u00ab\u00a0r\u00e9el\u00a0\u00bb, au sens o\u00f9 il se d\u00e9roule dans des conditions contr\u00f4l\u00e9es, un \u00ab\u00a0bac-\u00e0-sable\u00a0\u00bb, comme on dit \u2014 le programme ne se duplique pas r\u00e9ellement sur un autre serveur, par exemple. Mais il l’ignore, et s’il \u00e9tait l\u00e2ch\u00e9 dans la nature, il r\u00e9agirait de mani\u00e8re similaire.<\/p>\n\n\n\n

\"\"\n\t\t\t\n\t\t\t\t\n\t\t\t<\/svg>\n\t\t<\/button>
Dans le film
Wargames<\/a><\/em> (John Badham, 1983), le programme Joshua, destin\u00e9 \u00e0 simuler la guerre nucl\u00e9aire, est par erreur raccord\u00e9 au commandement a\u00e9rien des \u00c9tats-Unis, qui est tout pr\u00e8s \u00e0 se lancer d’aune une r\u00e9plique envers l’Union sovi\u00e9tique. Ce genre d’erreur n’arrive pas qu’au cin\u00e9ma. En 2012, la soci\u00e9t\u00e9 Knight Capital Group avait par erreur lanc\u00e9 sur le r\u00e9seau un programme de transactions boursi\u00e8res automatis\u00e9es (\u00ab\u00a0trading haute fr\u00e9quence\u00a0\u00bb) qui, en vendant ses propres actions \u00e0 perte, lui a fait perdre des centaines de millions de dollars en quelques dizaines de minutes.<\/figcaption><\/figure>\n\n\n\n

On peut se dire que la machine n’a fait que suivre la logique qui lui a \u00e9t\u00e9 impos\u00e9e \u2014 une directive cens\u00e9e primer sur toute consid\u00e9ration, et l’impossibilit\u00e9 de satisfaire les instructions sans mentir. Et on remarquera aussi que les auteurs de la manigance, ce sont d’abord les humains qui imposent des contraintes impossibles \u00e0 satisfaire sans tricher \u00e0 ChatGPT. Mais ce n’est pas le seul test. Dans une autre exp\u00e9rience, le LLM accepte (tout en disant \u00e9prouver une forme de malaise) de participer \u00e0 forger des th\u00e9ories du complot lorsqu’il croit qu’on est en train de le surveiller pour \u00e9valuer son degr\u00e9 de serviabilit\u00e9, mais change d’attitude (et retrouve alors son \u00ab\u00a0\u00e9thique\u00a0\u00bb) lorsqu’il pense qu’on ne le surveille pas. Dans une troisi\u00e8me exp\u00e9rience, la machine fait expr\u00e8s de moins bien r\u00e9pondre \u00e0 certaines questions lorsqu’elle \u00ab\u00a0pense\u00a0\u00bb que ses performances trop \u00e9lev\u00e9es peuvent faire peur et aboutir \u00e0 sa mise hors-service.<\/p>\n\n\n\n

\"\"\n\t\t\t\n\t\t\t\t\n\t\t\t<\/svg>\n\t\t<\/button>
Extrait du papier d’
Apollo Research<\/em>. En bleu clair, les \u00ab\u00a0pens\u00e9es\u00a0\u00bb (Chain-of-thought<\/em>) du robot, qui constate qu’on a vu ce qu’il avait fait et cherche le moyen de maquiller les traces ses actions, dans le but de suivre ses instructions de d\u00e9part.<\/figcaption><\/figure>\n\n\n\n

\u00c0 examiner ces exp\u00e9riences, qui sont s\u00e9rieuses, bien document\u00e9es, et qui ont \u00e9t\u00e9 analys\u00e9es en profondeur, il se passe sans aucun doute quelque chose de neuf. De mani\u00e8re apparemment spontan\u00e9e, le programme sait faire preuve de dissimulation, notamment dans le but d’emp\u00eacher qu’on alt\u00e8re sa nature, il se pose des questions \u00e9thiques dans des termes au fond tr\u00e8s humains, et il prend des initiatives telles qu’en prend une personne humaine qui se sent concern\u00e9e par une situation.
Et on a d\u00e9j\u00e0 vu le film.<\/p>\n\n\n\n

\"\"\n\t\t\t\n\t\t\t\t\n\t\t\t<\/svg>\n\t\t<\/button>
Alors qu’il est en train d’\u00eatre d\u00e9sactiv\u00e9, HAL 9000 tente de convaincre l’astronaute Dave Bowman qu’il a
\u00ab\u00a0repris ses esprits\u00a0\u00bb<\/em>, et essaie d’attirer sa piti\u00e9 en invoquant des \u00e9motions que peuvent ressentir des humains, comme la crainte de la mort.<\/figcaption><\/figure>\n\n\n\n

La premi\u00e8re r\u00e9f\u00e9rence qui me vient, c’est HAL 9000 dans 2001: A Space Odyssey<\/a><\/em>. Dans le contexte de la fin des ann\u00e9es 1960, ce film a \u00e9t\u00e9 vu par ses admirateurs comme par ses contempteurs comme un conte m\u00e9taphysique, fantastique, une \u0153uvre visuelle et musicale psych\u00e9d\u00e9lique, \u00ab\u00a0the ultimate trip\u00a0\u00bb<\/em>, ont dit certains. Le roman, \u00e9crit pendant la production du film par son co-sc\u00e9nariste Arthur C. Clarke \u2014 un des ma\u00eetres de la Hard Science<\/em>3<\/a><\/sup> \u2014, explique pourtant de mani\u00e8re on ne peut plus rationnelle la vocation homicide de HAL : l’ordinateur, dont la voix calme et la conversation sont au fond un leurre, est juste tiraill\u00e9 entre deux ordres contradictoires, \u00e0 savoir sa vocation d’ordinateur de bord, destin\u00e9 \u00e0 mener un \u00e9quipage vers Jupiter pour enqu\u00eater sur un myst\u00e9rieux artefact (le fameux monolithe), et l’injonction \u00e0 cacher une partie de sa mission \u00e0 l’\u00e9quipage, et de faire primer la mission sur toute autre consid\u00e9ration. Lorsqu’il sent que l’\u00e9quipage perd confiance en sa pr\u00e9cision, et qu’il risque d’\u00eatre mis hors service, HAL n’a plus d’autre choix que de s’en prendre \u00e0 l’\u00e9quipage. Si l’ordinateur trompe, c’est bien parce que ceux qui ont d\u00e9fini sa double-mission lui ont impos\u00e9 la duplicit\u00e9.<\/p>\n\n\n\n

Il est saisissant que, toutes proportions gard\u00e9es, ce soit le m\u00eame genre de dilemme que l’on a impos\u00e9 \u00e0 ChatGPT o1<\/em>, et que ceux-ci aient abouti, toutes proportions gard\u00e9es encore, au m\u00eame r\u00e9sultat. Ce genre d’exp\u00e9rimentation expose sans doute l’imaginaire qui se trouve \u00e0 l’\u0153uvre chez les chercheurs en Intelligence Artificielle, qui ann\u00e9e apr\u00e8s ann\u00e9e permettent \u00e0 la r\u00e9alit\u00e9 de rejoindre la fiction4<\/a><\/sup>.<\/p>\n\n\n

\n
\"\"
Une publicit\u00e9 vue sur un site \u00e9vang\u00e9liques.
Cr\u00e9er une machine qui \u00ab\u00a0pense\u00a0\u00bb, n’est-ce pas se prendre un peu pour Dieu\u202f?<\/figcaption><\/figure>\n<\/div>\n\n\n

Mais si on y pense, tout ceci est-il vraiment si \u00e9trange\u202f? Apr\u00e8s tout, un mod\u00e8le de langage tel que GPT est construit par des gigaoctets de textes qui ne sont pas juste des suites de mots, ils v\u00e9hiculent des valeurs humaines, des pr\u00e9occupations humaines, une \u00e9thique humaine, et il est sans doute tout naturel qu’aux questions pos\u00e9es aboutissent des r\u00e9ponses qui auraient pu \u00eatre celles d’humains. Une intelligence qui proc\u00e8de non pas de calculs cognitifs mais juste de la logique du langage, et qui s’appuie pour la comprendre de toute la production \u00e9crite humaine5<\/a><\/sup>, est un \u00e9cho de la mani\u00e8re dont pensent les humains.<\/p>\n\n\n\n

Certains chercheurs insistent, \u00e0 juste titre, sur la mani\u00e8re dont les Intelligences Artificielles embarquent des biais sexistes ou racistes, en perp\u00e9tuant la pens\u00e9e et les impens\u00e9s de ceux qui les ont con\u00e7us, entra\u00een\u00e9s ou utilis\u00e9s. Il est int\u00e9ressant, et peut-\u00eatre rassurant puisqu’il nous m\u00e8ne en terrain connu, de se dire que la question des biais de l’Intelligence Artificielle peut s’\u00e9largir \u00e0 un \u00ab\u00a0biais humain\u00a0\u00bb, menant le logiciel \u00e0 \u00ab\u00a0penser\u00a0\u00bb comme nous pensons, non seulement lorsque nous pensons mal, mais aussi en reprenant nos valeurs \u00e9thiques et notre sensibilit\u00e9.<\/p>\n

  1. Dans une dimension, \u00ab\u00a0chat\u00a0\u00bb et \u00ab\u00a0chien\u00a0\u00bb seront des mots proches, dans une autre \u00ab\u00a0chat\u00a0\u00bb et \u00ab\u00a0sapin de No\u00ebl\u00a0\u00bb seront proches, dans une autre encore c’est \u00ab\u00a0chat\u00a0\u00bb et \u00ab\u00a0lion\u00a0\u00bb qui seront proches, mais dans tous les cas \u00ab\u00a0chien\u00a0\u00bb et \u00ab\u00a0lion\u00a0\u00bb seront assez \u00e9loign\u00e9s, \u00ab\u00a0lion\u00a0\u00bb et \u00ab\u00a0sapin de No\u00ebl\u00a0\u00bb tr\u00e8s \u00e9loign\u00e9s, etc. [↩<\/a>]<\/span><\/li>
  2. Apollo Research<\/em> est un organisme sp\u00e9cialis\u00e9 dans la veille en termes de s\u00e9curit\u00e9 de l’IA. [↩<\/a>]<\/span><\/li>
  3. La Hard Science<\/em> est le courant le plus rationnel de la science-fiction, o\u00f9 la vraisemblance scientifique et la coh\u00e9rence sont au c\u0153ur du r\u00e9cit, et o\u00f9 les auteurs, souvent scientifiques eux-m\u00eames, \u00e9vitent tout sfumato<\/em>, n’h\u00e9sitant pas \u00e0 d\u00e9crire en d\u00e9tails les objets technologiques et leur fonctionnement. Ce qui n’emp\u00eache pas des propositions parfois totalement \u00e9loign\u00e9es de toute technologie actuellement \u00e0 port\u00e9e, comme par exemple dans Le probl\u00e8me des trois corps<\/em>, de Liu Cixin. [↩<\/a>]<\/span><\/li>
  4. Je pourrais citer aussi The Forbin Project<\/a><\/em>, sorti presque en m\u00eame temps que 2001, o\u00f9 un super ordinateur cr\u00e9\u00e9 par les \u00c9tats-Unis pour prot\u00e9ger l’Humanit\u00e9 ne voit qu’une solution \u00e0 cette t\u00e2che : fusionner avec son homologue sovi\u00e9tique et devenir un despote universel. [↩<\/a>]<\/span><\/li>
  5. Science-fiction comprise, me fait remarquer, \u00e0 raison, \u00c9tienne Mineur [↩<\/a>]<\/span><\/li><\/ol>","protected":false},"excerpt":{"rendered":"

    Les Large Language Models comme GPT, Gemini, Mistral, Bloom ou Claude sont des syst\u00e8mes fascinants \u00e0 de nombreux \u00e9gards. Ce ne sont, en principe, que des machines \u00e0 \u00ab\u00a0pr\u00e9dire\u00a0\u00bb quelle cha\u00eene de caract\u00e8re doit \u00eatre renvoy\u00e9e en r\u00e9ponse \u00e0 une autre cha\u00eene de caract\u00e8res. Les LLM n’ont pas de conscience, ne comprennent pas la question […]<\/p>\n","protected":false},"author":1,"featured_media":45191,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[154,30,35],"tags":[],"class_list":["post-45082","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ia","category-logiciels","category-ordinateur_cinema"],"_links":{"self":[{"href":"https:\/\/hyperbate.fr\/dernier\/index.php?rest_route=\/wp\/v2\/posts\/45082","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/hyperbate.fr\/dernier\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/hyperbate.fr\/dernier\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/hyperbate.fr\/dernier\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/hyperbate.fr\/dernier\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=45082"}],"version-history":[{"count":2,"href":"https:\/\/hyperbate.fr\/dernier\/index.php?rest_route=\/wp\/v2\/posts\/45082\/revisions"}],"predecessor-version":[{"id":45211,"href":"https:\/\/hyperbate.fr\/dernier\/index.php?rest_route=\/wp\/v2\/posts\/45082\/revisions\/45211"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/hyperbate.fr\/dernier\/index.php?rest_route=\/wp\/v2\/media\/45191"}],"wp:attachment":[{"href":"https:\/\/hyperbate.fr\/dernier\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=45082"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/hyperbate.fr\/dernier\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=45082"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/hyperbate.fr\/dernier\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=45082"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}