Le Livre d'Argent

Prends un LLM tout neuf et demande-lui quel jour on est.

Après cela, si tu es toujours convaincu que l'émergence d'une super-intelligence est imminente, pose la question à ton LLM et tu verras qu'elle devrait se produire dans un futur lointain, en 2022 ou 2023.

Pour être précis : sans un prompt système (réalisé par des humains) lui indiquant comment trouver la date (ie: La date actuelle est {{CURRENT_DATE}}), lui précisant qu'il ne faut pas inventer de réponse quand il ne sait pas (!), etc… et sans accès au Web, un LLM est vraiment limité.

@nicolasvivant j'ai Copilot dans la boite où Je bosses et je lui ai justement posé la question. Il m'a donné la date l'heure et le fuseau horaire. Je lui ai précisé qu'il s'agissait de #donneespersonnelles en lui demandant de les oublier. Mais il m'a répondu qu'il ne pouvait pas car il s'agissait de données contextuelles liées à la session.

Rien qu'avec ça on constate que ce type d'#IA disposes de données même si on lui demande de les oublier.... 😡😡😡

@TeddyTheBest
Effectivement. Et de beaucoup de données sinon ça ne fonctionne juste pas.

@elzen
On peut voir des parallèles, effectivement :)

Mais sans votre propre serveur, avec vos propres GPU, etc. c'est quelque chose que vous ne pouvez pas mesurer : dans les IA « du marché », le taf a été réalisé avant la mise en ligne, évidemment.

@nicolasvivant
En avril Copilot m'a envoyé un lien vers une page d'administration d'Azure qui indiquait que ça allait changer en avril 2026. J'ai donc répondu à Copilot qu'en allant sur le lien, j'avais ce message, en redonnant l'url et le message.
Il m'a répondu un truc du genre "oui, ça va changer en 2026, mais aujourd'hui en 2024-2025 on peut encore le faire". Je lui ai alors demandé de relire sa réponse et de regarder la date du jour. 🤦‍♂️
Je confirme donc que c'est sensé être intelligent mais ça ne connait pas la date.

@Pseudo_404
Disons que quand elle répond correctement, c'est qu'on lui a expliqué comment répondre. Ce n'est pas dans le modèle.

@nicolasvivant

Ben c'est un peu comme de sortir quelqu'un du coma et de lui demander la date du jour.
Évidemment qu'il ne la sait pas, mais lui demander de lire un doc et d'en faire un résumé, ça devrait aller (dans ma métaphore très approximative de ce qu'est un coma évidemment)

Se servir de ça pour dire "regardez les LLMs sont pas intelligents" je sais pas si ça fait avancer quoi que ce soit, pas plus que de dire que les LLMs ne savent pas compter les lettres (toujours dans ma métaphore extrêmement approximative, c'est dire qu'une personne aveugle n'est pas intelligente parce qu'elle ne sait pas combien de doigts je montre)

Il y a une différence entre la capacité cognitive et l'absorption/restitution du contexte ambiant.

Ce qui est sûr c'est que les capacités cognitives sont, jusqu'à maintenant, en constante croissance avec une efficacité elle aussi grandissante (rapport au nombre de neurones et consommation électrique)

Est-ce que je m'en réjouis ? Non pas vraiment

@alex
Les LLM ne sont pas intelligents et ils ne savent pas, c'est une certitude, c'est structurel. Sans conscience du monde ni de soi, sans capteurs sensoriels (aucun), sans histoire vécue et en s'appuyant sur des données pas à jour et un système probabiliste on peut éventuellement pondre des phrases correctes, mais certainement pas être intelligent.

Quelqu'un qui sort du coma réapprend peu à peu le monde, même sans aide. Un LLM n'apprend rien par lui-même.