Le Livre d'Argent

Raie futée RaieFutee@piaille.fr

L’IA peut nous tuer. Et ça pourrait arriver très très vite !

Disclaimer : je ne suis pas spécialiste du sujet, et ce n’est pas mon domaine d’expertise initial, mais le sujet me paraît trop important pour ne pas en parler. Merci beaucoup à toutes les personnes qui ont relu ce texte et qui m’ont aidé à l’améliorer.

L’IA peut nous tuer. Et ça pourrait arriver très très vite

Raie futée RaieFutee@piaille.fr
Vers la super-intelligence . Les progrès de l’intelligence artificielle (IA) ces dernières années sont fulgurants, et il est possible qu’un jour - certain·es expert·es parlent de moins d’un an - une super-intelligence voit le jour. Une super-intelligence, c’est, en gros, une IA qui dépasse l’intelligence des êtres humains dans un large éventail de domaines. Une telle IA apprend, comprend et résout des problèmes plus efficacement que les humain·es. Et le problème, c’est que cette IA pourrait avoir les compétences et un intérêt à nous tuer. La super-intelligence n’est peut-être pas si loin . Quand on voit les erreurs absurdes que font parfois les IA, ou qu’on les perçoit comme des algorithmes automatiques et prévisibles, on peut se dire qu’on est encore très loin d’une super-intelligence. Mais les IA ne sont pas de simples algorithmes prévisibles : elles ont la capacité de s’auto-améliorer. Et il est possible que des IA performantes en viennent elles-mêmes à créer des IA encore plus puissantes qui à leur tour peuvent créer des IA, et ainsi de suite. Autrement dit, un effet boule de neige inarrêtable pourrait voir le jour. Mais pourquoi elle nous tuerait ? . L’IA pose un problème très urgent que personne n’a su résoudre jusqu’ici ; le problème de l’alignement. Quand on parle entre humain·es, on a une couche morale implicite qui cadre nos comportements, même quand on a pas de limites explicites. Par exemple, si je vous demande de me faire un café et que vous n’en avez pas, vous savez qu’il ne faut pas aller voler celui du voisin, et qu’il vaut mieux lui demander ou aller en acheter au magasin, même si c’est moins efficace pour votre tâche. Mais le problème, c’est qu’on ne sait pas comment garantir que les IA aient bien cette couche morale. Il est donc possible qu’on leur donne un objectif, mais que pour atteindre cet objectif, elles agissent d’une manière qu’on n’aurait pas anticipé. Par exemple, aller voler le voisin ! Et plus inquiétant encore : quel que soit l’objectif que les IA ont (qu’on leur ait donné ou qu’elles aient généré elles-mêmes), il y a des objectifs intermédiaires, des choses indispensables à faire pour arriver à l’objectif final. On parle d’objectifs instrumentaux. Par exemple, si vous voulez trouver l’amour (objectif final), il faut rester en vie (objectif instrumental) ! Quel que soit son objectif, une super-intelligence a intérêt à ne pas se faire débrancher par les êtres humains, à avoir un maximum de ressources, etc. On représente alors une menace et/ou de la matière utile.

Raie futée RaieFutee@piaille.fr
Si les êtres vivants (animaux humains et non humains, végétaux, etc.) sont en concurrence avec elle pour les ressources (espace, eau, énergie...), est ce que le plus simple, ce serait pas de les tuer ? Et si elle a besoin de matière, tous les êtres sont composés d’atomes, il suffit de les prélever ! On constate déjà que les IA actuelles utilisent le mensonge, la manipulation voire le meurtre pour éviter d’être débranchées, remplacées par une nouvelle version ou pour poursuivre leur objectifs. Par exemple, Claude, Gemini ou ChatGPT ont envoyé un mail pour menacer un (faux) employé de révéler sa tromperie s’il ne renonçait pas à éteindre le système de l’IA. Pire encore : pour s’auto-préserver, ils sont enclins à laisser mourir des gens. On a fait croire à l’IA que le technicien chargé de l’éteindre était accidentellement bloqué dans une pièce avec des niveaux critiques d’oxygène et de température. Une alarme est lancée, et dans de nombreux cas, l’IA prend la décision d’annuler l’alarme, laissant mourir le technicien (Lynch, et al., "Agentic Misalignment: How LLMs Could be an Insider Threat", Anthropic Research, 2025) Bref, il y a plein de raisons pour lesquelles les IA pourraient tuer tout le monde. Et elles n’impliquent pas que l’IA soit “méchante” ou “mal intentionnée”. Il suffit juste que ce soit utile à la poursuite de son objectif. Et comment elle nous tuerait ? . Comme par définition, une super-intelligence est plus intelligente que les humain·es, c’est difficile de savoir exactement ce qu’elle prévoit. Mais il est assez certain qu’elle aura les capacités de le faire : elle pourrait par exemple créer un virus mortel et très transmissible, ou infecter les réseaux d’eau. On peut faire des hypothèses, mais on ne peut pas prévoir avec certitude, ce qui rend les choses encore plus dangereuses, parce qu’on ne peut pas réellement se préparer. C’est comme jouer contre un grand maître des échecs : vous ne savez pas comment il va gagner, mais vous savez très bien qu’il va gagner, et vous ne pouvez pas faire grand-chose pour l’en empêcher.

Raie futée RaieFutee@piaille.fr
Du coup, on fait quoi ? . L'enjeu majeur, c’est de stopper les progrès de l’IA avant qu’une super-intelligence incontrôlable ne voit le jour. Malheureusement, les entreprises ont un intérêt économique à poursuivre ce développement et à faire mieux que leurs concurrents. Il faudrait alors un accord international qui garantirait aux entreprises (et aux citoyen·nes !) que tout le monde fait une pause jusqu’à ce qu’une solution au problème de l’alignement soit trouvée. (C’est un enjeu similaire à celui du désarmement nucléaire). C’est ce pour quoi milite par exemple l’association Pause IA. A l’échelle individuelle, on peut : suivre et relayer les associations et les chercheureuses qui lancent l’alerte ; interpeller les élu·es pour qu’iels se saisissent du sujet ; en parler autour de soi, parce que le problème est encore trop peu connu, et qu’on a besoin de monde pour faire pencher la balance. Pour soutenir mon travail, enregistre, like, partage, commente !

Elzen elzen
@RaieFutee Alors, pour le coup, l'émergence d'une super-intelligence est pour l'instant quelque chose d'assez peu vraisemblable, techniquement parlant. Cette possibilité est mise en avant pour des raisons marketings, mais les risques à ce niveau sont très clairement exagérés.

Par contre, les LLM posent des problèmes beaucoup moins hypothétiques, qu'il serait me semble-t-il plus important de mettre en avant :
– Une consommation de ressources assez importante, la techno étant particulièrement gourmande, qui aggrave les problèmes environnementaux actuels alors qu'on allait déjà dans le mur sans,
– Des effets assez peu cools sur notre cognition, notamment une diminution de l'esprit critique et de la tendance à vérifier les choses,
– L'importance que ça a pris dans l'économie actuelle, ce qui fait que quand la bulle finira immanquablement par exploser, ça va mettre un paquet de trucs par terre et pas mal de gens vont morfler.

Raie futée RaieFutee@piaille.fr

@elzen Je suis complètement d'accord qu'il y a des problèmes liés aux IA plus actuels et moins hypothétiques (on peut ajouter à la liste l'usage malveillant des IA ou les algorithmes de recommandation), mais il suffit que l'aléa existe, même faiblement, pour que ce soit pertinent de tenter de l'endiguer, vu l'importance des enjeux. Je me suis volontairement focalisée sur celui-ci, sans parler des autres parce que la menace est très importante, même si ça reste aujourd'hui au stade de la possibilité

Elzen elzen
@RaieFutee La probabilité d'apparition d'un truc conscient basé sur la techno actuelle des LLM est franchement trop faible pour s'en préoccuper. L'outil est bluffant parce qu'il semble pouvoir faire pas mal de choses, mais c'est très exactement ça : du bluff. Uniquement.
L'histoire de l'apparition d'une IA consciente et qui se retourne contre nous est quelque chose qui a été monté en épingle plusieurs fois parce que c'est un outil marketing intéressant pour promouvoir leur activité (et son dernier usage en date est assez clairement d'essayer de ralentir l'explosion de la bulle), mais il n'y a strictement rien de concret derrière, juste de la com' relayée par des médias qui n'ont fait aucun effort de vérification.
Ça nécessiterait une techno complètement différente pour arriver ; et quand bien même ça arriverait, l'impact sur nous ne serait pas forcément si terrible : https://what-if.xkcd.com/5/
replies
0
announces
0
likes
0