Profitez-en, après celui là c'est fini

Les trois lois de la robotique contre les dix commandements

novembre 27th, 2013 Posted in Interactivité

10_commandements_moise

En 1942, Isaac Asimov a exposé les trois lois que chaque robot de ses nouvelles et de ses romans est censé respecter, dans cet ordre :

1. Un robot ne peut porter atteinte à un être humain ni, par son inaction, permettre qu’un être humain soit blessé.
2. Un robot doit obéir aux ordres que lui donnent les êtres humains, excepté si ceux-ci devaient contrevenir à la première loi.
3. Un robot doit assurer sa propre protection, tant que cela n’entre pas en conflit avec la première et la seconde loi1.

Nombre de récits d’Asimov sont des variations sur les conséquences de ces lois et sur la manière dont elles peuvent être contournées ou détournées. Assez rapidement, l’auteur forgera une loi zéro destinée à prendre en compte l’intérêt général :

0. Un robot ne peut pas faire de mal à l’humanité, ni, par son inaction, permettre que l’humanité soit blessée.

Bien entendu, ces lois inscrites dans les « cerveaux positroniques » des robots sont un peu naïves dans leur simplicité, car avant que l’on puisse dire à une machine de ne pas blesser d’êtres humains, il faut lui expliquer ce qu’est un être humain, ce qu’est l’humanité, et ce que signifie blesser. Mais ces questions pratiques ne sont pas le propos d’Asimov.

Il existe des variantes aux lois d’Asimov, comme par exemple les « directives » imposées au cyborg Robocop, dans la série de films du même nom :

être au service de l’intérêt public
protéger les innocents
faire respecter la loi
information classifiée

La directive classifiée stipule que Robocop ne peut arrêter un cadre de la société Omni Consumer Product, dont il est la création et la propriété. Le film traite avec mordant de l’accaparement d’un service public — le maintien de l’ordre —, par une société privée.

...

Cosmos 1999, saison 2 épisode 5, Brian the brain (1976). Excellente série au départ, Cosmos 1999 a vu sa seconde saison altérée par une tentative de conquérir le public américain, qui n’avait pas apprécié la première saison. Cela se traduit par une forme discrète de racisme et de sexisme, et par une certaine bigoterie, comme ici, où le commandant Koenig propose d’apprendre les dix commandements à un ordinateur conscient afin que celui-ci ait une morale.

Parmi les alternatives aux lois d’Asimov proposées pour donner une morale aux ordinateurs ou aux robots, je relève au moins deux fois la mention du décalogue biblique, dans Cosmos 1999 (1976), et dans Terminator: The Sarah Connor Chronicles (2009).
Je suis preneur de tout autre exemple dans le domaine.

terminator_chronicle_commandments

Terminator: The Sarah Connor Chronicles, saison 2, épisode 10. Confronté à l’intelligence artificielle « John Henry », qui n’a aucune forme de morale, l’agent du FBI James Ellison propose que l’on enseigne les dix commandements à la machine. Cette série n’est pas scénarisée ou produite par James Cameron, le créateur de Terminator, et cela se ressent notamment dans les références constantes à la religion.

La proposition de recourir aux dix commandements pour imposer un sens moral à des machines est chaque fois présentée comme une évidence. Pourtant, il n’y a pas de raison que ça le soit, car ces commandements ne sont que partiellement une affaire de morale commune. Bien sûr, la plupart des gens retiennent du décalogue ses conseils de bon sens, comme « tu ne tueras point », « tu ne voleras point » et « tu ne convoiteras pas les biens de ton voisin ». Mais l’énumération est loin de s’y limiter. En fait, les premiers commandements portent sur les modalités de la vénération que Dieu exige : il n’y a qu’un seul Dieu ; il est interdit d’en adorer un autre2 ; il est interdit de produire des représentations ; il faut respecter le jour du shabbat ; il est interdit de blasphémer.

Cecil B. de Mille

Les Dix commandements, par Cecil B. de Mille (1956), avec Charlton Heston dans le rôle de Moïse.

J’imagine qu’il n’existe pas de société viable où le meurtre n’est pas proscrit, ou plus exactement encadré, et j’imagine aussi qu’aucune société d’agriculture et d’élevage, reposant sur la propriété privée, ne peut fonctionner sans interdire le vol.
Ainsi, ordonner « tu ne tueras point » et « tu ne voleras point » ne mange pas de pain, comme on dit, mais ne me semble en rien révolutionnaire. Et je ne parierais pas que ces lois aient été surprenantes lorsque Moïse est descendu du mont Sinaï pour les annoncer.

Plus inédites et étonnantes sont sans doute les lois inscrites dans le Lévitique, le livre qui succède à l’Exode, où Moïse ajoute de nombreuses précisions aux dix commandements : comment sacrifier des animaux, dans quel ordre les dépecer, selon quelle orientation les brûler, comment habiller et raser les sacrificateurs, de quelles allergies alimentaires souffre l’Éternel (pas de miel ni de levain dans les offrandes), comment se faire pardonner si l’on a involontairement manqué au respect des commandements, et enfin, une incroyable quantité d’amendements à la loi « tu ne tueras point » : on a le droit de punir par la mort les gens possédés par des esprits, les gens qui communiquent avec des fantômes, les gens capables de divination, les homosexuels, les gens qui pratiquent l’enlèvement, les couples adultérins, les filles de sacrificateurs qui ne savent pas se tenir, les gens qui maudissent leurs parents, qui forniquent avec des animaux, les couples incestueux, les assassins intentionnels, etc.
Il y a même des cas où sont punis par la mort ceux qui ont refusé de donner la mort aux adorateurs du dieu concurrent Moloc. « Tu ne tueras point », enfin sauf si on te l’ordonne.

....

En introduction (dans les versions cinéma et DVD du film, mais pas dans sa version diffusée à la télévision), Cecil B. de Mille explique l’enjeu du film : les hommes doivent-ils être dirigés par la loi de Dieu, ou doivent-ils subir les caprices de dictateurs tels Ramses ? Les hommes sont-il la propriété de l’État, ou sont-ils des âmes libres sous la domination de Dieu ?
On voit là assez bien exposé le caractère apparemment contradictoire entre deux traits forts de la culture des États-Unis : la bigoterie d’une part, et la sacralisation de la liberté individuelle d’autre part.

S’il y a de vrais progrès dans les lois bibliques, c’est peut-être dans d’autres détails tirés de l’Exode, comme le fait d’imposer que les esclaves deviennent des hommes libres au bout de sept années de service, de dire qu’il ne faut pas maltraiter l’étranger3, ou encore qu’un pécheur est seul responsable de ses méfaits, dont on ne doit tenir ses enfants ou ses parents pour coupables, c’est à dire de refuser le principe de la vendetta4.

...

Pour bien montrer l’horreur d’une société qui ignore le respect des dix commandements, Cecil B. de Mille montre les hébreux, enfin sortis de captivité mais sans nouvelles de Moïse devenus « comme la mer agitée, Qui ne peut se calmer, Et dont les eaux soulèvent la vase et le limon » (Isaïe 57:20) : on mange, on boit, on joue, on s’amuse, on fait des statues, on s’embrasse, et, abomination, les femmes chevauchent des hommes ! Vivement que le bon vieux patriarcat-à-papa (oui je sais, c’est redondant) soit rétabli et que tout le monde s’ennuie à nouveau, dans le respect de la hiérarchie.

Quoi qu’il en soit, présenter les dix commandements comme une morale universelle et applicable y compris à des machines intelligentes semble peu avisé, tout comme de vouloir imposer des lois potentiellement contradictoires à une mécanique logique. Isaac Asimov était emprunt de culture juive, quoique ne manquant pas d’un regard critique sur cet héritage5, et on peut imaginer qu’il a eu en tête les lois de Moïse en forgeant les siennes6, si ce n’est que dans le cas des lois de la robotique, l’intérêt général et particulier des humains prime sur tout. « Le » créateur est oublié au profit « des » créateurs, enfin émancipés, et enfin responsables de leurs actions les uns envers les autres7.

  1. A robot may not injure a human being or, through inaction, allow a human being to come to harm. A robot must obey the orders given to it by human beings, except where such orders would conflict with the First Law. A robot must protect its own existence as long as such protection does not conflict with the First or Second Law. []
  2. Exode 34:14 : Tu ne te prosterneras point devant un autre dieu ; car l’Éternel porte le nom de jaloux, il est un Dieu jaloux. Ce dieu unique qui est jaloux des autres divinités m’a toujours semblé étonamment peu sûr de lui et de son unicité ! []
  3. Exode 22:21 : Tu ne maltraiteras point l’étranger, et tu ne l’opprimeras point; car vous avez été étrangers dans le pays d’Egypte. []
  4. En même temps, l’Éternel n’exclut pas qu’un péché ait des conséquences sur la descendance du pécheur jusqu’à la troisième ou la quatrième génération… Entre punition d’une lignée et conséquences fâcheuses, la ligne est un peu floue. []
  5. Asimov raconte par exemple dans ses mémoires comment il s’est disputé avec Élie Wiesel en lui disant que si les juifs avaient été bien plus souvent victimes que bourreaux au cours de leur histoire, c’est juste parce qu’ils n’avaient que rarement été en position de faire autrement, et que lorsque ça s’est produit, ils n’ont pas été meilleurs que d’autres. []
  6. Pour l’anecdote, signalons qu’Asimov prétendait ne pas être l’inventeur de ces trois lois, et les tenir de John Campbell son éditeur, lequel affirmait n’avoir rien fait d’autre qu’aider l’auteur de Fondation à formuler une idée qu’il avait en germe depuis longtemps… []
  7. La liberté, l’autonomie, l’esclave, le robot,… Tous ces thèmes tournent beaucoup autour de la question du labeur, non ? []
  1. 6 Responses to “Les trois lois de la robotique contre les dix commandements”

  2. By El Gato on Nov 27, 2013

    « il faut lui expliquer ce qu’est un être humain, ce qu’est l’humanité, et ce que signifie blesser. Mais ces questions pratiques ne sont pas le propos d’Asimov. »

    Il y a longtemps que je n’ai pas relu Asimov, mais il me semble que la définition de ce qu’est l’humanité est en creux dans toutes ses nouvelles.
    Qu’est-ce qui distingue ses robots de l’humanité sinon les trois lois de la robotique?
    Et en ce qui concerne le religieux, j’ai un vague souvenir d’une nouvelle où les robots développent des rituels pour enterrer l’un des leurs. La croyance en un au-delà suppose une religion, ce qui caractériserait l’humanité.

  3. By Wood on Nov 27, 2013

    Oui, en effet, certaines histoires d’Asimov concernent des robots à qui on a caché qu’ils avaient affaire à un humain pour les pousser à enfreindre la première loi de la robotique. De la même façon il y a des humains qui ignorent qu’ils ont affaire à un androïde et se comportent comme s’il était humain (par exemple en obtempérant face à des menaces qu’il serait bien incapable d’exécuter).

  4. By Nikolavitch on Nov 28, 2013

    Pour la petite histoire, les « lois d’Asimov » ont été formulées au départ par John Campbell, le rédacteur en chef du pulp qui le publiait (la source à ce sujet étant Asimov lui-même, qui ne s’en cachait pas)

  5. By Sammy on Déc 20, 2013

    N’oublions pas non plus que ce qui prime, tout du moins dans les premiers écrits d’Asimov mettant en scène des robots, avant même l’invention des trois lois, c’est surtout l’envie de se débarrasser du « complexe de Frankenstein », sentiment plus ou moins refoulé, nommé d’après le roman du même nom et nourri aux sources bibliques, qui voudrait que la source de toute création soit Dieu, et Dieu seul ; l’homme qui tenterait d’imiter le créateur (Frankenstein et autres variantes) se voyant inéluctablement châtié, généralement par sa créature qui se retourne contre lui.

  6. By Nicolas B. on Mar 2, 2014

    Jean-No, en traduisant la Troisème Loi tu as transformé un « ou » en « et ». Ce n’est pas innocent. Pour Asimov, l’humain passe avant le robot. Traduttore, tradittore !

  7. By Jean-no on Mar 2, 2014

    @Nicolas B. : je ne me rappelle pas d’une nouvelle d’Asimov où ce « or » ait été traité comme un « ou » logique, c’est plutôt un « nor » (ni) ! Non ?

Postez un commentaire


Veuillez noter que l'auteur de ce blog s'autorise à modifier vos commentaires afin d'améliorer leur mise en forme (liens, orthographe) si cela est nécessaire.
En ajoutant un commentaire à cette page, vous acceptez implicitement que celui-ci soit diffusé non seulement ici-même mais aussi sous une autre forme, électronique ou imprimée par exemple.