Le Livre d'Argent

7/10 De l'autre côté, les SRAS/LLM, c'est au partage de connaissances ce que l'homéopathie est à la médecine : un truc qui est fait avant tout pour être très convainquant alors qu'il n'y a en pratique strictement rien qui fasse réellement le taff dedans.

Un LLM, c'est un outil statistique pour prédire le prochain mot d'un texte. Une version perfectionnée du mode prédictif dans vos SMS, en gros. Ça met des mots à la suite des autres, mais sans que rien dedans ne se pose la question de la véracité ou de l'intérêt. Ça n'est juste pas conçu pour ça.

Si vous voulez un peu plus de détails sur comment fonctionne ces machins, j'ai déjà écrit sur ça aussi :

https://www.baldursgateworld.fr/viewtopic.php?t=34767

6/10 On peut d'ailleurs aussi pousser la comparaison un cran plus loin et dire que, si les vaccins sont efficaces, ça ne veut pour autant pas dire qu'il faut faire une confiance aveugle à l'industrie pharmaceutique, qui a ses propres intérêts et des pratiques parfois franchement problématiques.

De la même manière, si Wikipédia est un outil formidable, la façon dont il est géré, en ce moment, est parfois franchement problématique aussi, et c'est quelque chose auquel on doit faire attention. M'enfin, j'avais déjà écrit sur le sujet, je ne vais pas m'étendre davantage là-dessus cette fois-ci.

https://fadrienn.irlnc.org/articles/societe/format_wikipedia/

5/10 Je pense que la comparaison avec Wikipédia et les SRAS/LLM devient assez claire dit comme ça, non ?

Wikipédia est un outil conçu pour apporter de la connaissance aux gens, comme les vaccins sont conçus pour les maintenir en bonne santé. On peut même préciser au passage que Wikipédia marche justement mieux comme « vaccin » que comme « traitement » : il est me semble-t-il prouvé qu'apporter des connaissances en amont est plus efficace pour lutter contre la désinformation que de tenter de « débunker » ensuite. Mais bon, ça c'est une autre question.

Par contre, Wikipédia reste un outil humain, donc faillible. Malgré tout le soin qu'on y met, il reste des erreurs dedans, parce que rien n'est jamais parfait, exactement comme les vaccins ont des effets secondaires. Ça se mesure, on peut poser des règles pour restreindre ça, mais on sait aussi qu'il faut faire avec.

4/10 On a donc dans les deux cas « la même » question, celle des effets bénéfiques et néfastes sur la santé. Mais les deux trucs comparés ont un fonctionnement radicalement différent, ce qui fait que les deux débats sur cette question sont fondamentalement différents : dans un cas on a un truc dont on sait qu'il fonctionne, dont on comprend pourquoi, et dont on peut travailler à améliorer l'efficacité et à réduire les effets secondaires.

Dans l'autre, on a quelque chose qui n'est pas conçu pour fonctionner, mais pour vous faire penser qu'il fonctionne. C'est son unique moyen d'action. Moyen qui, de part le contexte, peut parfois être suffisant pour avoir l'effet escompté. Parfois pas, et dans ces cas-là, ça peut facilement devenir très grave.

(Et dans les deux cas, le débat est hélas parasité par des gens très enthousiastes ou au contraire très critiques mais qui, quand on creuse un peu, n'ont pas l'air franchement au fait de ce dont il s'agit et de comment ça marche au juste, ce qui gène un peu.)

3/10 Mais du coup, pourquoi l'homéopathie continue-t-elle d'être prescrite ? À cause de ce qu'on appelle les effets contextuels, ou plus communément « le placébo » :

– D'abord, voir un médecin, se faire prescrire un traitement, ça a déjà un certain effet sur nous qui aide le corps à guérir, même s'il n'y a absolument rien d'efficace dans le traitement en question.

– Ensuite parce que, dans quand même pas mal de cas, notre corps aurait réussi de toute façon à se défendre tout seul. Comme on dit, traité, un rhume dure sept jour, pas traité, il dure une semaine. La plupart du temps, « ça marche », parce que ça aurait marché de toute façon.

Mais évidemment, le souci, c'est que dans certains cas, on se choppe quelque chose de vraiment grave, et là, il devient vital d'avoir un traitement efficace. Et vouloir traiter ces cas-là à l'homéopathie, c'est une très mauvaise idée.

2/10 D'abord, situons un peu ce dont il est question. Les vaccins ont une longue histoire et pas mal de progrès (j'avais d'ailleurs commencé à bosser sur une vidéo pour parler de ça, mais ça devait être une collab' et j'n'ai plus de nouvelles depuis un bail de la personne qui devait la faire avec moi, donc il faudrait que je vois comment j'adapte ça). Pour faire court : on a trouvé moyen d'entraîner le corps à se défendre contre les infections, ce qui lui permet d'être prêt quand ça arrive. Il arrive évidemment qu'il y ait des effets secondaires indésirables, comme pour tout, mais globalement, ça sauve *beaucoup* de vies.

De l'autre côté, l'homéopathie, ça a été inventé il y a deux siècles, et malgré d'immenses progrès scientifiques qui ont rendu le mode d'effet avancé de moins en moins crédible, ça n'a globalement pas bougé depuis. Toutes les études sérieuses menées sur la question sont environ d'accord pour dire qu'aucun effet notable des granules sur la santé n'a pu être mis en évidence jusque là.

Hier, j'ai vu quelqu'un ici qui disait que, sur la fiabilité des SRAS/LLM⁽¹⁾, on avait eu « le même débat » à propos de Wikipédia au début. J'ai répondu que comparer les deux, c'est un peu comme dire qu'on aurait « le même débat » sur les vaccins et sur l'homéopathie à propos des effets sur la santé. J'ai envie de développer un peu la comparaison, donc, dix pouets.

(1) Communément appelées « IA génératives », mais ce terme est lui-même problématique. M'enfin, vous avez déjà vu la conf' de Khrys, non ?

https://khrys.eu.org/conferences/ia-libre-f%C3%A9minisme/
https://videos-libr.es/videos/watch/5f39263e-6b88-457b-83e8-41d7993d6bc1

@sarah_trichet_allaire Joie et enthousiasme, 'faut pas non plus le dire trop vite, hein ^^"

C'est un type, il a un problème.
Alors il se dit « Je sais ! Je vais utiliser une expression rationnelle ! »
Et maintenant, il a deux problèmes.

@raph (Je retire aussi Lux comme demandé à côté, donc).

Alors, pour le coup, non seulement j'étais étudiant à l'époque, mais j'ai eu en cours la prof' dont les déclarations outrancières étaient cités sur la page Wikipédia rapportant le débat en question. Déclarations qu'elle a donc répété en live en ma présence. Donc oui, je vois parfaitement le niveau qui pouvait être atteint à l'époque.

Il n'empêche que le fait de porter sur la fiabilité (et, allez, disons aussi, de voir un certain nombre de gens participer sans rien paner au sujet) reste bien le seul et unique point commun qu'il y a entre ces deux débats. Pour le reste, on parle de deux choses au fonctionnement radicalement différent, donc c'est à peu près aussi pertinent que de comparer le débat sur les vaccins et celui sur l'homéopathie parce que dans les deux cas il y a des gens pas d'accord à propos de l'effet sur la santé.

Les erreurs sur Wikipédia sont des accidents, qui arrivent parce que les gens essayent globalement de fournir du contenu fiable mais que des erreurs arrivent en cours de route, on pourrait aussi comparer ça, notamment, au fait qu'un programme compte inévitablement des bugs, malgré tout le soin qu'on met dedans.
Les « erreurs » produites par un LLM relèvent exactement du même mécanisme que celui qui lui fait produire le reste du texte. Dans tous les cas on peut dire qu'il « hallucine », c'est seulement qu'on peut s'arranger pour que, en moyenne la plupart du temps, ces « hallucinations » soient assez proches de la réalité. Mettre les deux sur le même plan, c'est passer complètement à côté de la façon dont ces deux choses sont conçues.

@raph @orange_lux (Khrys n'ayant pas demandé à être là, je la retire des mentions au cas où, je lui fais confiance pour se réincruster d'elle-même si elle veut suivre).

Sur la question de la fiabilité, désolé, mais le débat qu'il y a eu à propos de Wikipédia n'était pas « le même », loin de là. Wikipédia est un outil géré collectivement, avec des règles de fonctionnement qu'on peut améliorer, et des contributeurices à qui ont peut apprendre à avoir les bons réflexes. Un outil type LLM/SRAS est un générateur aléatoire qui, par conception, ne peut pas prêter attention à la véracité de ce qu'il dit. Les deux ne fonctionnent pas du tout de la même manière, et le seul point commun entre les deux, c'est qu'il est question de fiabilité dedans. Encourager les gens à croiser les sources est une bonne pratique, évidemment, mais la question est loin de se limiter à ça.

@orange_lux @raph Si je peux me permettre d'intervenir : oui, le capitalisme est une grosse partie du problème, mais non, ramener l'argumentaire anti-IA à un argumentaire anti-capitaliste ne couvre pas tout. Même si on pouvait imaginer construire un outil type LLM de façon éthique sans le capitalisme, ça ne résoudrait qu'une partie des aspects problématiques du machin. Ça ne rendrait pas la techno fiable, notamment. Mais au delà de ça, juste parler d'« IA » pour désigner les LLM, c'est déjà quelque chose qui pose problème au niveau idéologique. Je renvoie en particulier à la conf' de @Khrys sur le sujet :

https://khrys.eu.org/conferences/ia-libre-f%C3%A9minisme/
https://videos-libr.es/videos/watch/5f39263e-6b88-457b-83e8-41d7993d6bc1

@hist_myth ☹

@hist_myth On a le droit de demander un thread ? :D

@otyugh « C'est comme refuser la voiture ».

N'ayant pas le permis et pas l'intention de le passer, je valide cette comparaison.

@melunaka @Sylvhem Thanks for the links!

A bit strange that the first one suggests U+02BC “because it has apostrophe in his name” while it also has “modifier letter” in it, which gives a really different purpose, and while U+0027 has explicitly “apostrophe” with nothing more as a name, isn't it? ^^"

(Unicode is full of weirdness, BTW, but here I'd say the simplest choice would be the best matching one. But that's just my own choice for when I'm the one typing, of course otherwise, I'm just curious about why people chose something else.)