Le Livre d'Argent

Mise en perspective : les gros modèles d'IA du moment ont quelques milliards ou dizaines de milliards de paramètres.
Ce qui demande un matériel hors de prix pour faire tourner. Voir par ex les articles récents sur next.ink.

Un cerveau humain c'est 10.000 milliards de synapses... Par cm3 !!

@John_Livingston Après, je ne sais pas si la comparaison est si pertinente que ça, dans la mesure où les LLM sont basés sur une conception des réseaux de neurones qui date des années 1950/1960, et qu'avec les progrès qu'on a fait en biologie cognitive depuis on sait que ça ne marche pas vraiment comme on le pensait à l'époque.

Le point principal étant qu'un réseau de neurone artificiel a une structure fixe, les relations entre neurones étant posées à l'avance et ne changeant pas au fil du temps, tandis que l'essentiel du fonctionnement d'un cerveau biologique est justement de former de nouvelles connexions entre les neurones au fil du temps.
replies
1
announces
0
likes
0

@elzen @John_Livingston Aussi c'est des modèles vraiment simplifiés de neurones, si je devais retenir une chose de ma thèse avortée dans le domaine c'est que ce qui est intéressant du point de vue "ressembler un peu à la biologie" et "ce qui marche sur nos ordinateurs de manière pratique" c'est quand même assez distinct

@elzen @John_Livingston je crains de pouvoir généraliser à une différence entre "ce qui est intéressant" et "ce qui marche" de manière générale sadkitten

@elzen : donc la différence est encore plus grande.
Mon point, c'est juste de dire qu'on est très très loin de pouvoir "reproduire" un cerveau humain (pour un usage grand public)

@crowdagger

@John_Livingston @elzen oui c'était pas pour contredire blob_cat

@John_Livingston @elzen c'est comme les discussions sur "ptet on vit dans une simulation", en temps qu'idée de SF c'est rigolo mais si t'as déjà un peu joué avec un modèle physique assez simple tu réalises toutes les approximations colossales que t'es obligé·e de faire et tu te dis que le gap pour simuler notre univers il est légèrement monumental

@crowdagger
(Oui, je sais :) )

@crowdagger
Ah bah quand tu sors de cours de physique au lycée, tu te dit "ah bah avec un gros ordinateur, on peut tout prédire !".
Puis après, tu fais de la physique un peu plus sérieuse, et tu perds vite tes illusions 😅

@elzen

@crowdagger

(Idem avec les voyages dans l'espace, quand tu réalise les ordres de grandeurs)
@elzen

@John_Livingston @elzen après t'essaie de gérer la collision entre 2 cubes en prenant en compte que la physique newtonienne la plus basique et t'as toujours des cas où y'en a un qui se retrouve éjecté dans l'espace blob_cat_sob

@crowdagger
Hahaha, ça me rappelle un projet en école d'ingé. On devait faire une simulation spatiale: tu contrôle une fusée, dois la faire décoller et atterir sur la lune. En simulant de manière réaliste la physique (mais en 2D).
On a fini le projet à l'arrache. On n'a assemblé les travaux des différentes équipes (controles, physique, graphisme, ...) qu'au dernier moment, et on n'a jamais testé. Le prof s'installe. Il allume les moteurs...

@elzen

@crowdagger

La fusée a été projetée au bord de l'univers en 2 secondes 🤣

Probablement des erreurs d'arrondis avec les nombres flottants.

@elzen