Le Livre d'Argent

Puisque j'aime bien mettre les choses en lien, voici un petit article à la frontière entre mes sections informatique, médiathèque et société. Isaac Asimov est un de mes auteurs préférés (si vous ne connaissez pas, j'ai reproduit deux de ses plus courtes nouvelles sur ce blog, ici et là, n'hésitez pas à aller lire ça ).

Les personnes qui auront lu ma thèse auront d'ailleurs peut-être remarqué qu'il y est remercié avec quelques autres. Et, comme je vous en parlais récemment (et à partir de là, j'arrête de faire des auto-liens à tout bout de champ et je commence à aborder le sujet de l'article), Isaac Asimov aimait assez intégrer des commentaires personnels à ses recueils de nouvelles.

Ainsi, dans l'introduction de son Cycle des Robots, il précise que l'idée de ses trois lois de la robotique lui vient, indirectement, du célèbre ouvrage de Mary Shelley dans lequel le docteur Frankenstein parvient à donner vie à un monstre (lequel n'a pas de nom dans le roman, même si il est courant de le désigner par le nom de son créateur).

En effet, la trame générale de l'histoire, assez simple, n'a cessé d'être reprise par la suite : quelqu'un crée un monstre, qui échappe à son contrôle, et finit par tuer son créateur. Asimov était particulièrement lassé de voir ce schéma se reproduire sans cesse, et a donc décidé d'explorer les choses d'une autre manière.

L'idée d'Asimov est elle aussi assez simple : les gens qui inventent des choses sont capables d'être prudents, et donc de prévoir des garde-fous. La première et plus fondamentales des trois lois, qui conditionne de manière incontournable(1) le comportement de ses robots « positroniques », est donc qu'un robot ne peut blesser un être humain, pas plus qu'il ne peut permettre, par son inaction, qu'un être humain soit blessé.

Ça n'empêche cependant pas certains problèmes d'apparaître (faute de quoi il n'y aurait pas grand chose à raconter). Asimov explore ainsi les prises de risques, conscientes ou non, vis-à-vis de ces gardes-fous, notamment dans Le petit robot perdu. Il aborde la question de la définition de l'être humain sur laquelle repose cette première loi, entre autres dans Pour que tu t'y intéresses.

Mais il aborde surtout la façon dont l'être humain réagit. Le monde des robots d'Asimov est un monde dans lequel l'humanité présente un « complexe de Frankenstein » : même si les robots ne présentent guère de danger, la plupart des gens ont peur d'eux.

À ce titre, le film de 2004 I, Robot, s'inspirant de plusieurs nouvelles (ciblées) d'Asimov, présente en fait un schéma opposé à celui de leur auteur : dans ce film (ai-je lu, je ne l'ai pas vu moi-même), les robots sont pleinement acceptés par l'humanité, et l'essentiel de la trame repose sur l'idée de Shelley que la créature risque de se retourner contre son maître.

C'est précisément ce qu'Asimov cherchait à éviter, ce qui, personnellement, ne me donne pas spécialement envie de voir le film. Certaines personnes justifient ce choix en posant que la situation actuelle donne tort à l'auteur d'origine : les « robots » actuels, à savoir le monde numérique dans son ensemble, serait globalement bien accepté par la population.

Ce n'est guère surprenant : les personnes qui tiennent ce discours sont bien souvent elles-mêmes familières du monde numériques et habituées à le côtoyer en permanence (comme le sont les membres de l'US Robot dans les nouvelles, qui eux n'ont pas spécialement peur de leurs créations). Est-ce vraiment le cas du reste du monde ?

Entre les mouvements « anti-ondes » (qui ignorent généralement ce dont il s'agit), les « critiques » à l'emporte pièce comme celle à laquelle j'avais répondu il y a quelques années, ou les propos anxiogènes dans les médias (comme celui qui a motivé cette très bonne B.D. de Gee), même si nous sommes loin du rejet quasi-universel que décrivait Asimov, j'ai tout de même bien l'impression que quelque chose d'assez proche du « complexe de Frankenstein » affecte bel et bien une partie non-négligeable de nos semblables.

En fait, la situation présente me fait fortement penser à la situation décrite dans Les cavernes d'acier, premier roman et début de la seconde partie du cycle(2). Le titre de ce roman lui vient du fait que, quelques siècles après les événements décrits dans les nouvelles, l'humanité vit désormais dans des villes totalement closes, coupées du monde extérieur, les robots se chargent notamment de produire la nourriture étant cantonnés à celui-ci.

Comme les habitant⋅e⋅s de ce monde, nous dépendons énormément de nos ordinateurs, de quelque forme qu'ils soient, mais nous maintenons une grande partie d'entre eux loin de nous, ce qui nous évite de penser que ça fait peur… ou d'apprendre à vivre avec.

Mais la question est avant tout de savoir comment les choses vont évoluer, et si les machines ont une chance de se retourner contre nous comme la créature de Frankenstein. Ou comme n'importe quel autre monstre de ce type : le schéma posé par Mary Shelley a en effet été largement repris. Par exemple, Skynet, l'intelligence artificielle de la série de films Terminator à laquelle nous autres libristes aimons beaucoup comparer Google, est très exactement une créature de Frankenstein.

La comparaison, pour sa part, est évidemment exagérée : si dangereux soient-ils, Google et consorts(3) n'ont évidemment pas le projet de décimer l'humanité. En fait, leur façon de faire ressemble beaucoup plus à celle théorisée par Asimov : la manipulation.

En effet, les robots du cycle ont une certaine tendance à vouloir prendre les décisions à la place des êtres humains. Plusieurs nouvelles parlent ainsi de robots se faisant passer pour humains pour entrer en politique (l'idée est évoquée pour la première fois dans La Preuve, l'intrigue portant sur le fait de savoir si le personnage principal est, ou n'est pas, un robot).

La nouvelle Conflit évitable nous présente d'ailleurs une situation où les robots ont plus ou moins pris le contrôle de l'humanité, de manière bien sûr pacifique (la première loi s'applique toujours), mais en ayant tout de même appris à nuire quelque peu à certains de ses membres lorsque ça leur semble permettre d'atteindre un « plus grand bien ».

C'est la première apparition d'un concept qu'Asimov développera par la suite, celui de la Loi Zéro, généralisation de la première loi permettant de déroger à cette dernière, en cas de nécessité, lorsque l'humanité entière (ou quelque chose d'approchant) est concernée.

Bien sûr, dans le cycle, c'est présenté comme une bonne chose : les machines sont plus raisonnables que l'humanité qui les a créées, et veillent effectivement à ce que celle-ci demeure en paix. La « robopsychologue(4) » Suzan Calvin, personnage central de la première partie de l'œuvre, se montre ainsi très enthousiaste à la situation décrite dans cette nouvelle.

La chose peut en effet se tenir dans le cycle, où les robots, en plus d'être physiquement plus fort, sont pour un certain nombre d'entre eux également plus intelligents que les êtres humains qui les ont créé (cela fait qu'un certain nombre d'entre eux se montrent arrogants, cette arrogance étant la raison pour laquelle des garde-fous comme les trois lois sont nécessaires).

Naturellement, ça ne vaut pas pour Google, ni pour n'importe quelle autre de nos créations numériques réelles, qui restent très bêtes. Là où le schéma de Shelley nécessite que la créature devienne autonome et un minimum indépendante du docteur, là où les trois lois d'Asimov ont précisément pour but d'empêcher les robots d'acquérir cette autonomie (lire notamment la nouvelle Le Robot qui rêvait à ce sujet), nous sommes actuellement totalement incapables de concevoir une « intelligence artificielle » disposant de quelque autonomie que ce soit.

Et c'est précisément là qu'est le danger auquel nous avons, nous, à faire face : l'emprise des « robots » réels, qui ne manque pas d'avoir des effets sur notre façon d'envisager le monde, n'est pas le fait d'un deus ex machina infiniment bienveillant, mais le produit de la pensée d'être humains dotés d'un certain point de vue, d'une certaine vision du monde, avec laquelle on peut être en désaccord et dont rien ne garantit qu'elle ne nuise pas à l'humanité.

Dans Pour que tu t'y intéresses, Asimov pose que la cause du « complexe de Frankenstein » qu'il décrit dans ses nouvelles est sans doute l'aspect humanoïde des robots. Pour se faire accepter, ceux-ci doivent donc changer de forme, et ainsi passer inaperçu à nos yeux.

Cette modification nécessite toutefois de simplifier leur « cerveau positronique » jusqu'au point de leur retirer les trois lois et donc tout ce qui les rend nécessaires. La génération de robots qui en résulte ressemble donc aux automates bien réels que nous connaissons : ils sont conçus pour effectuer une tâche bien précise, et ne sont plus dotés d'une quelconque intelligence.

Dans l'univers du cycle, cela arrive dans un second temps, alors que la plus grande partie des nouvelles est passée (la seconde partie du cycle, postérieure, étant constituée principalement de romans). Dans notre monde réel, c'est là que nous en sommes : les machines, même celles que nous appelons « intelligentes », ne font qu'appliquer des programmes prédéfinis, mais leur diversité de formes fait qu'elles envahissent sans trop se faire remarquer de nombreux aspects de notre vie.

Nous n'avons aucun garde-fou du type des trois lois. En fait, certains outils parmi nos plus anodins sont même programmés explicitement pour obéir à d'autres ordres que ceux des gens qui les manient (l'exemple le plus classique à ce sujet étant celui du lecteur DVD qui refuse de passer les messages anti-contrefaçon, et parfois certaines publicités).

Ce n'est pas un problème si l'on considère que ces machines ne sont pour la plupart pas « physiquement » dangereuses pour l'être humain, et qu'un scénario comme celui de Mary Shelley ne peut pas nous menacer actuellement. Le véritable danger vient plutôt des êtres humains qui décident de ce que font ces machines ne sont pas davantage soumis à quelque chose qui ressemble aux trois lois, et disposent de moyens très efficaces de parvenir à leurs fins.

Pour autant, nous avons normalement des gardes fous contre ça, notamment dans nos véritables lois, bien plus nombreuses et plus complexes que celles de la robotique proposées par Isaac Asimov, mais qui peuvent tout de même, parfois, se montrer efficaces. Encore faut-il prendre la peine de les mettre en action.

Alors, pour éviter que le monde réel ne finisse par trop ressembler à ce que d'autres auteur⋅e⋅s ont pu imaginer, il est temps de prendre quelques bonnes résolutions.