Le Livre d'Argent

@Sobex Alors, c'est marrant, l'article de blog dont je parlais commence justement par une ref à la vidéo des Shadoks qui va bien ^^

Donc si jamais, c'est là (mais je crois que j'ai déjà dû mettre le lien dans un #vulgadredi ou deux) : https://fadrienn.irlnc.org/articles/sciences/comptons_sur_nos_doigts/

@AudeCaussarieu @Sylvhem Alors, mon passage par la case IUFM, c'était à peu près il y a trois vies (j'y suis passé la dernière année où ça s'appelait comme ça, ensuite j'ai démissionné d'instit' pour reprendre mes études puis pour aller faire une thèse, puis j'ai arrêté de bosser dans des labos pour faire de la médiation scientifique), donc je crains de n'avoir pas beaucoup plus que quelques souvenirs épars ^^"

Mais je vais tâcher de voir si je retrouve quelque chose à ce sujet, et si oui, je te pinguerai. Aucune garantie de résultat, par contre ^^"

@Sylvhem @AudeCaussarieu J'imagine que ça dépend de ce qu'on appelle compter sur les doigts. De mémoire, quand j'étais à l'IUFM, on nous avait appris qu'il y avait pas mal de différences dans la façon de fonctionner entre le fait de venir compter ses doigts un par un et juste les plier/déplier en comptant sans forcément regarder la main. Mais je ne sais plus trop les détails, il faudrait que je révise ^^"

(Tiens, si ça intéresse du monde ici, j'avais un vieil article de blog qui expliquait comment compter sur ses doigts jusqu'à soixante ou jusqu'à 1023 et quelques notions qu'il y a à savoir à propos de ça, mais je pense que ce n'est peut-être pas pertinent pour du niveau collège ^^)

@Gen_G Au delà du problème évident au niveau de la protection de la biodiversité, ça pourrait être intéressant d'interroger aussi le problème démocratique, dans l'affaire. Nan, parce que : ce qui arrive à l'animal de compagnie de la présidente de la commission a une influence directe sur la legislation concernant le statut de protection d'une espèce, que ce soit fondé ou pas ? Sérieusement ?

Est-ce qu'il n'y a que moi qui tique un peu sur le fait que l'auTDAH est en violet (donc bleu + rouge) alors que l'autisme est en bleu et le TDAH en vert (et pas rouge, donc la somme des deux c'est du cyan) ? 🤔

@Gouximan @switchactu Perso j'ai économisé mon argent de poche un moment juste pour acheter une N64 d'occase avec ce jeu (en vrai j'ai aussi eu MarioKart sur lequel j'ai passé pas mal de temps aussi, GoldenEye auquel j'ai peu joué, et un jeu de hockey que je n'ai jamais lancé).

Ceci dit, unpopular opinion, mais Ocarina of Time est (rétrospectivement en tout cas, c'est vrai qu'il y a eu des moments marquants à l'époque) pas mal, mais sans plus. Comme pour FF7, je ne vois pas tellement pourquoi on en fait autant sur celui-là en particulier. Mais bon, si je classe toute la saga par ordre de préférence, je dirais qu'il n'y a à peu près que Majora's Mask (que je n'ai découvert qu'il y a quelques années) et Twilight Princess comme opus 3D bien classés, globalement je préfère largement les autres.

@gee Et quand on sait comment la B.D. se termine, on peut se poser des questions :-þ

Devoir venir au taff (un peu, ça va) plus tôt que prévu parce qu'on avait du monde à accueillir tôt et que les deux collègues sont sur une intervention extérieure, et me retrouver à devoir changer une lampe en urgence parce que le projo ne voulait plus s'allumer, sachant que c'était la première fois que j'en changeait une complètement en solo, ce n'est pas exactement le genre de matinée que je préfère. Mais je crois que mon syndrome de l'imposteur a apprécié encore moins que moi ^^"

@StephaneCapo Alors, c'est toujours difficile d'extrapoler évidemment, d'autant que ça dépend aussi de comment on investit les sous (en l'occurrence, le problème dont il est surtout question ici a résisté longtemps parce que le contexte faisait que la plupart des gens qui s'y mettaient cherchaient à prouver une conjecture qui en fait s'est avéré fausse, donc ce qu'il fallait, c'était surtout quelqu'un qui décide de partir dans le sens inverse des autres, je dirais qu'en général ce genre de trucs dépends moins des financements que du nombre de gens qui y réfléchissent sur leur temps libre).

On peut aussi, légitimement, se questionner sur l'intérêt de mettre des sous spécifiquement sur la résolution des problèmes d'Erdös, qui sont des problèmes de maths intéressants mais à ma connaissance sans spécialement d'applications ailleurs, donc les résoudre par ricocher en travaillant sur autre chose paraît plus probable (cas de plusieurs d'entre eux qui avaient été résolus dans d'autres branches des maths sans que le lien ne soit fait).

Par contre, oui, il y a probablement moyen d'arriver à quelque chose qui fasse des maths (ou en tout cas de la recherche de preuves et de contre-exemples) plus efficacement qu'un LLM, vu qu'une preuve en maths c'est me semble-t-il quelque chose de pas mal algorithmique pour lequel la langue naturelle n'est pas forcément l'outil le plus adapté. Mais je laisse des gens avec plus de connaissances du domaine que moi confirmer ou infirmer :-)

@Khrys En vrai, j'essaye de garder une critique pertinente des LLM et d'être prêt à changer d'avis si un des points sur lesquels je base mes positions actuelles devenait faux. Et comme je sais qu'il a beaucoup bossé là-dessus (j'ai pas mal découvert le sujet grace à ses premières vidéos avant de m'y pencher professionnellement, et à l'époque ce qu'il disait était très pertinent), je me dis que si quelqu'un a des chances de me pointer une erreur de ma part, ça devrait être lui.

Sauf que plus ça va, plus les positions qu'ils s'est mis à défendre me semblent à côté de la plaque et mal argumentées, donc je vais peut-être réfléchir à aller voir ailleurs. Par contre, ça me semble confirmer un truc : l'adhésion aux LLM n'est souvent pas isolée, ça permet de mettre en lumière d'autres soucis ailleurs, ici dans le regard porté à la recherche scientifique “humaine”.

D'autre part, je suis le premier à mettre en avant le fait que découvrir et partager de nouvelles choses est quelque chose de très cool, mais comme disait à peu près je ne sais plus qui (ouais, c'est précis), si le seul objectif était l'ivresse de la connaissance, en quoi payer un chercheur pour chercher serait quelque chose de mieux que de payer un ivrogne à boire ?

Si c'est collectivement pertinent de faire des efforts pour avoir un système de recherche qui fonctionne à peu près, c'est d'abord et surtout parce que la recherche permet d'identifier des problèmes que rencontre notre société et d'apporter des éléments de réponse dont la prise en compte permet d'améliorer les choses. La recherche scientifique, comme pas mal d'autres choses, c'est éminemment politique, ce n'est d'ailleurs pas pour rien que les positions antidémocratiques sont souvent associées à un refus de prise en compte de pas mal de réalités.

Dans ce contexte-là, même en supposant un monde où les LLM sont plus efficaces que les humains pour obtenir des résultats fiables, miser sur l'efficacité en faisant l'impasse sur les questions politiques que ça pose, c'est déjà louper totalement le point de la recherche elle-même.

Du coup, je vais me permettre de poser là deux points qui, me semble-t-il, devraient être évidents pour tout le monde mais sont encore manifestement loins de l'être.

D'une part, la simple existence de médailles Fields et autres prix Nobel est déjà, en soi, un signe que le modèle de fonctionnement de notre système de recherche n'est pas sain, parce qu'on essaye de forcer un aspect méritocratique à quelque chose qui est un travail collaboratif où le succès dépend surtout des moyens et tombe beaucoup sur les gens de façon aléatoire (sur ce sujet-là, j'ai la flemme de chercher le lien ce soir mais voyez la vidéo d'Hygiène Mentale sur la régression à la moyenne, elle est sur Skeptikon).

Rien qu'associer des résultats à une personne en particulier, ça peut aider à situer le contexte de leur obtention, mais ça contribue beaucoup à perdre de vue la façon dont la science se fait réellement, j'en ai causé dans quelques threads récents.

Et évidemment, il conclue en disant que les maths étaient jusque là un des trucs les plus brillants qu'on pouvait faire avec un cerveau humain et que du coup on se rapproche sans doute du point où l'IA permettra de progresser dans la recherche dans tous les domaines et en particulier en IA… sans vraiment s'interroger sur les finalités du truc et les raisons pour lesquelles on fait de la recherche.

Et encore une fois, sans spécialement mentionner les effets environnementaux et compagnie, il questionne l'intérêt de continuer à faire faire de la recherche par des humains sans s'intéresser au coût de la faire faire autrement, c'est quand même un brin navrant.

Ceci dit, je le rejoins sur une partie de ce qu'il dit : cet exemple peut servir à mettre en lumière le fait qu'on devrait un peu changer de point de vue sur la recherche et sur le statut des gens qui ont trouvé des découvertes majeures, mais vu à quel point il insiste sur le fait que les gens qu'il cite ont eu la médaille Fields, je ne crois pas qu'on interprète ça de la même façon.

Ah, il indique que ce que je suis en train d'objecter là lui semble d'une mauvaise foi criante parce que le taux de réussite des mathématiciens humains à prouver ou réfuter des trucs est très bas aussi, que c'est possiblement souvent juste un coup de bol aussi, et que les humains non plus ne communiquent pas beaucoup sur leurs échecs.

Alors, d'un côté je suis d'accord avec ces objections mais j'ai du mal à voir en quoi ça répond vraiment à l'objection, et d'autre part le dernier point me semble quand même un brin contradictoire avec le fait qu'au début, pour essayer de montrer que ce n'étaient pas n'importe quels problèmes qui avaient été résolus, il insistait sur le fait que c'étaient des problèmes sur lesquels énormément de mathématiciens avaient réfléchi en vain… ce qui veut dire qu'on a quand même quelques données sur les échecs, donc, à moins que je n'aie loupé une marche ?

(Et, encore une fois, justement : c'est parce qu'on sait qu'il y a eu énormément de tentatives que le fait qu'on ait fini par trouver n'est pas si surprenant et qu'on peut douter un peu de l'intérêt de glorifier ce qui a eu du bol, que ce soit un LLM ou un être humain, justement.)

Okay, ça nage en plein dans ce que je disais dans le premier pouet, mais là de façon particulièrement flagrante.

Il parle d'une preuve trouvée par les gens d'OpenAI et fait remarquer lui-même que le truc est totalement automatisé et que donc OpenAI a littéralement pu demander des tonnes d'autres exemples et faire de la pub' au seul cas qui a marché (précisant qu'on ne saura pas parce qu'OpenAI n'est pas un modèle de transparence), puis conclue… que ça lui paraîtrait surprenant que ce soit ce qui s'est passé, parce que, quand même, celui qui a marché est plus dur que les autres et qu'on a vu des gens réussir à en trouver d'autres, donc s'ils avaient juste fait ça ils auraient dû avoir d'autres résultats positifs.

En tout cas, moi, ça me conforte dans mon idée que l'enthousiasme vis-à-vis des compétences des LLM est incompatible avec le fait d'avoir quelques notions de base de statistiques.

Là j'en suis au moment où il rappelle qu'il y a trois ans les LLM se viandaient sur des problèmes de maths de niveau primaire et que maintenant ça résout des problèmes de niveau recherche, en précisant que (d'après lui) « une telle vitesse de progression est réellement difficile à concevoir ».

Déjà j'ai quand même un peu envie de rappeler que les mêmes LLM continuent de se viander sur des problèmes de maths de niveau primaire dans le même temps ; et puis bon, sur la vitesse de progression, j'peux pas m'empêcher de penser au sujet des deux derniers vulgadredis, hein, trois ans c'est grosso-modo le temps qu'il a fallu entre Sputnik et Gagarine, par exemple. Avec me semble-t-il la même cause dans les deux cas : un sujet à la mode, donc beaucoup de moyens humains et financiers.

Bon, j'ai quand même fini par avoir le courage de lancer la dernière vidéo de monsieur Phi, sur les résolutions de problèmes de maths par IA, c'est assez impressionnant comme il insiste sur les bouts qui devraient conduire à analyser le truc autrement sans pour autant le faire.

Par exemple, il indique qu'il trouve très caractéristique que ce soient surtout des utilisateurs de LLMs qui sont tombés sur des résolutions de problèmes et pas des ingés de boîtes produisant ces LLM, mais ça ne le fait absolument pas s'interroger sur le rôle des statistiques dans tout ça, le fait que les utilisateurs sont quand même plus nombreux que les ingés et que donc ben quand un truc avait juste une probabilité faible de se produire sans rien signifier de particulier, ben c'est normal qu'elle arrive là où il y a le plus grand nombre d'essais.