Le Livre d'Argent

Bon, j'ai quand même fini par avoir le courage de lancer la dernière vidéo de monsieur Phi, sur les résolutions de problèmes de maths par IA, c'est assez impressionnant comme il insiste sur les bouts qui devraient conduire à analyser le truc autrement sans pour autant le faire.

Par exemple, il indique qu'il trouve très caractéristique que ce soient surtout des utilisateurs de LLMs qui sont tombés sur des résolutions de problèmes et pas des ingés de boîtes produisant ces LLM, mais ça ne le fait absolument pas s'interroger sur le rôle des statistiques dans tout ça, le fait que les utilisateurs sont quand même plus nombreux que les ingés et que donc ben quand un truc avait juste une probabilité faible de se produire sans rien signifier de particulier, ben c'est normal qu'elle arrive là où il y a le plus grand nombre d'essais.

Là j'en suis au moment où il rappelle qu'il y a trois ans les LLM se viandaient sur des problèmes de maths de niveau primaire et que maintenant ça résout des problèmes de niveau recherche, en précisant que (d'après lui) « une telle vitesse de progression est réellement difficile à concevoir ».

Déjà j'ai quand même un peu envie de rappeler que les mêmes LLM continuent de se viander sur des problèmes de maths de niveau primaire dans le même temps ; et puis bon, sur la vitesse de progression, j'peux pas m'empêcher de penser au sujet des deux derniers vulgadredis, hein, trois ans c'est grosso-modo le temps qu'il a fallu entre Sputnik et Gagarine, par exemple. Avec me semble-t-il la même cause dans les deux cas : un sujet à la mode, donc beaucoup de moyens humains et financiers.

Okay, ça nage en plein dans ce que je disais dans le premier pouet, mais là de façon particulièrement flagrante.

Il parle d'une preuve trouvée par les gens d'OpenAI et fait remarquer lui-même que le truc est totalement automatisé et que donc OpenAI a littéralement pu demander des tonnes d'autres exemples et faire de la pub' au seul cas qui a marché (précisant qu'on ne saura pas parce qu'OpenAI n'est pas un modèle de transparence), puis conclue… que ça lui paraîtrait surprenant que ce soit ce qui s'est passé, parce que, quand même, celui qui a marché est plus dur que les autres et qu'on a vu des gens réussir à en trouver d'autres, donc s'ils avaient juste fait ça ils auraient dû avoir d'autres résultats positifs.

En tout cas, moi, ça me conforte dans mon idée que l'enthousiasme vis-à-vis des compétences des LLM est incompatible avec le fait d'avoir quelques notions de base de statistiques.

Ah, il indique que ce que je suis en train d'objecter là lui semble d'une mauvaise foi criante parce que le taux de réussite des mathématiciens humains à prouver ou réfuter des trucs est très bas aussi, que c'est possiblement souvent juste un coup de bol aussi, et que les humains non plus ne communiquent pas beaucoup sur leurs échecs.

Alors, d'un côté je suis d'accord avec ces objections mais j'ai du mal à voir en quoi ça répond vraiment à l'objection, et d'autre part le dernier point me semble quand même un brin contradictoire avec le fait qu'au début, pour essayer de montrer que ce n'étaient pas n'importe quels problèmes qui avaient été résolus, il insistait sur le fait que c'étaient des problèmes sur lesquels énormément de mathématiciens avaient réfléchi en vain… ce qui veut dire qu'on a quand même quelques données sur les échecs, donc, à moins que je n'aie loupé une marche ?

(Et, encore une fois, justement : c'est parce qu'on sait qu'il y a eu énormément de tentatives que le fait qu'on ait fini par trouver n'est pas si surprenant et qu'on peut douter un peu de l'intérêt de glorifier ce qui a eu du bol, que ce soit un LLM ou un être humain, justement.)