Le dernier blog

Les trois lois de la robotique contre les dix commandements

En 1942, Isaac Asimov a exposé les trois lois que chaque robot de ses nouvelles et de ses romans est censé respecter, dans cet ordre :

1. Un robot ne peut porter atteinte à un être humain ni, par son inaction, permettre qu’un être humain soit blessé.
2. Un robot doit obéir aux ordres que lui donnent les êtres humains, excepté si ceux-ci devaient contrevenir à la première loi.
3. Un robot doit assurer sa propre protection, tant que cela n’entre pas en conflit avec la première et la seconde loi¹.

Nombre de récits d’Asimov sont des variations sur les conséquences de ces lois et sur la manière dont elles peuvent être contournées ou détournées. Assez rapidement, l’auteur forgera une loi zéro destinée à prendre en compte l’intérêt général :

0. Un robot ne peut pas faire de mal à l’humanité, ni, par son inaction, permettre que l’humanité soit blessée.

Bien entendu, ces lois inscrites dans les « cerveaux positroniques » des robots sont un peu naïves dans leur simplicité, car avant que l’on puisse dire à une machine de ne pas blesser d’êtres humains, il faut lui expliquer ce qu’est un être humain, ce qu’est l’humanité, et ce que signifie blesser. Mais ces questions pratiques ne sont pas le propos d’Asimov.

Il existe des variantes aux lois d’Asimov, comme par exemple les « directives » imposées au cyborg Robocop, dans la série de films du même nom :

être au service de l’intérêt public
protéger les innocents
faire respecter la loi
information classifiée

La directive classifiée stipule que Robocop ne peut arrêter un cadre de la société Omni Consumer Product, dont il est la création et la propriété. Le film traite avec mordant de l’accaparement d’un service public — le maintien de l’ordre —, par une société privée.

Cosmos 1999, saison 2 épisode 5, Brian the brain (1976). Excellente série au départ, Cosmos 1999 a vu sa seconde saison altérée par une tentative de conquérir le public américain, qui n’avait pas apprécié la première saison. Cela se traduit par une forme discrète de racisme et de sexisme, et par une certaine bigoterie, comme ici, où le commandant Koenig propose d’apprendre les dix commandements à un ordinateur conscient afin que celui-ci ait une morale.

Parmi les alternatives aux lois d’Asimov proposées pour donner une morale aux ordinateurs ou aux robots, je relève au moins deux fois la mention du décalogue biblique, dans Cosmos 1999 (1976), et dans Terminator: The Sarah Connor Chronicles (2009).
Je suis preneur de tout autre exemple dans le domaine.

Terminator: The Sarah Connor Chronicles, saison 2, épisode 10. Confronté à l’intelligence artificielle « John Henry », qui n’a aucune forme de morale, l’agent du FBI James Ellison propose que l’on enseigne les dix commandements à la machine. Cette série n’est pas scénarisée ou produite par James Cameron, le créateur de Terminator, et cela se ressent notamment dans les références constantes à la religion.

La proposition de recourir aux dix commandements pour imposer un sens moral à des machines est chaque fois présentée comme une évidence. Pourtant, il n’y a pas de raison que ça le soit, car ces commandements ne sont que partiellement une affaire de morale commune. Bien sûr, la plupart des gens retiennent du décalogue ses conseils de bon sens, comme « tu ne tueras point », « tu ne voleras point » et « tu ne convoiteras pas les biens de ton voisin ». Mais l’énumération est loin de s’y limiter. En fait, les premiers commandements portent sur les modalités de la vénération que Dieu exige : il n’y a qu’un seul Dieu ; il est interdit d’en adorer un autre² ; il est interdit de produire des représentations ; il faut respecter le jour du shabbat ; il est interdit de blasphémer.

Les Dix commandements, par Cecil B. de Mille (1956), avec Charlton Heston dans le rôle de Moïse.

J’imagine qu’il n’existe pas de société viable où le meurtre n’est pas proscrit, ou plus exactement encadré, et j’imagine aussi qu’aucune société d’agriculture et d’élevage, reposant sur la propriété privée, ne peut fonctionner sans interdire le vol.
Ainsi, ordonner « tu ne tueras point » et « tu ne voleras point » ne mange pas de pain, comme on dit, mais ne me semble en rien révolutionnaire. Et je ne parierais pas que ces lois aient été surprenantes lorsque Moïse est descendu du mont Sinaï pour les annoncer.

Plus inédites et étonnantes sont sans doute les lois inscrites dans le Lévitique, le livre qui succède à l’Exode, où Moïse ajoute de nombreuses précisions aux dix commandements : comment sacrifier des animaux, dans quel ordre les dépecer, selon quelle orientation les brûler, comment habiller et raser les sacrificateurs, de quelles allergies alimentaires souffre l’Éternel (pas de miel ni de levain dans les offrandes), comment se faire pardonner si l’on a involontairement manqué au respect des commandements, et enfin, une incroyable quantité d’amendements à la loi « tu ne tueras point » : on a le droit de punir par la mort les gens possédés par des esprits, les gens qui communiquent avec des fantômes, les gens capables de divination, les homosexuels, les gens qui pratiquent l’enlèvement, les couples adultérins, les filles de sacrificateurs qui ne savent pas se tenir, les gens qui maudissent leurs parents, qui forniquent avec des animaux, les couples incestueux, les assassins intentionnels, etc.
Il y a même des cas où sont punis par la mort ceux qui ont refusé de donner la mort aux adorateurs du dieu concurrent Moloc. « Tu ne tueras point », enfin sauf si on te l’ordonne.

En introduction (dans les versions cinéma et DVD du film, mais pas dans sa version diffusée à la télévision), Cecil B. de Mille explique l’enjeu du film : les hommes doivent-ils être dirigés par la loi de Dieu, ou doivent-ils subir les caprices de dictateurs tels Ramses ? Les hommes sont-il la propriété de l’État, ou sont-ils des âmes libres sous la domination de Dieu ?
On voit là assez bien exposé le caractère apparemment contradictoire entre deux traits forts de la culture des États-Unis : la bigoterie d’une part, et la sacralisation de la liberté individuelle d’autre part.

S’il y a de vrais progrès dans les lois bibliques, c’est peut-être dans d’autres détails tirés de l’Exode, comme le fait d’imposer que les esclaves deviennent des hommes libres au bout de sept années de service, de dire qu’il ne faut pas maltraiter l’étranger³, ou encore qu’un pécheur est seul responsable de ses méfaits, dont on ne doit tenir ses enfants ou ses parents pour coupables, c’est à dire de refuser le principe de la vendetta⁴.

Pour bien montrer l’horreur d’une société qui ignore le respect des dix commandements, Cecil B. de Mille montre les hébreux, enfin sortis de captivité mais sans nouvelles de Moïse devenus « comme la mer agitée, Qui ne peut se calmer, Et dont les eaux soulèvent la vase et le limon » (Isaïe 57:20) : on mange, on boit, on joue, on s’amuse, on fait des statues, on s’embrasse, et, abomination, les femmes chevauchent des hommes ! Vivement que le bon vieux patriarcat-à-papa (oui je sais, c’est redondant) soit rétabli et que tout le monde s’ennuie à nouveau, dans le respect de la hiérarchie.

Quoi qu’il en soit, présenter les dix commandements comme une morale universelle et applicable y compris à des machines intelligentes semble peu avisé, tout comme de vouloir imposer des lois potentiellement contradictoires à une mécanique logique. Isaac Asimov était emprunt de culture juive, quoique ne manquant pas d’un regard critique sur cet héritage⁵, et on peut imaginer qu’il a eu en tête les lois de Moïse en forgeant les siennes⁶, si ce n’est que dans le cas des lois de la robotique, l’intérêt général et particulier des humains prime sur tout. « Le » créateur est oublié au profit « des » créateurs, enfin émancipés, et enfin responsables de leurs actions les uns envers les autres⁷.

1. A robot may not injure a human being or, through inaction, allow a human being to come to harm. A robot must obey the orders given to it by human beings, except where such orders would conflict with the First Law. A robot must protect its own existence as long as such protection does not conflict with the First or Second Law. [↩]
2. Exode 34:14 : Tu ne te prosterneras point devant un autre dieu ; car l’Éternel porte le nom de jaloux, il est un Dieu jaloux. Ce dieu unique qui est jaloux des autres divinités m’a toujours semblé étonamment peu sûr de lui et de son unicité ! [↩]
3. Exode 22:21 : Tu ne maltraiteras point l’étranger, et tu ne l’opprimeras point; car vous avez été étrangers dans le pays d’Egypte. [↩]
4. En même temps, l’Éternel n’exclut pas qu’un péché ait des conséquences sur la descendance du pécheur jusqu’à la troisième ou la quatrième génération… Entre punition d’une lignée et conséquences fâcheuses, la ligne est un peu floue. [↩]
5. Asimov raconte par exemple dans ses mémoires comment il s’est disputé avec Élie Wiesel en lui disant que si les juifs avaient été bien plus souvent victimes que bourreaux au cours de leur histoire, c’est juste parce qu’ils n’avaient que rarement été en position de faire autrement, et que lorsque ça s’est produit, ils n’ont pas été meilleurs que d’autres. [↩]
6. Pour l’anecdote, signalons qu’Asimov prétendait ne pas être l’inventeur de ces trois lois, et les tenir de John Campbell son éditeur, lequel affirmait n’avoir rien fait d’autre qu’aider l’auteur de Fondation à formuler une idée qu’il avait en germe depuis longtemps… [↩]
7. La liberté, l’autonomie, l’esclave, le robot,… Tous ces thèmes tournent beaucoup autour de la question du labeur, non ? [↩]