Le Livre d'Argent

Tous ces prix Nobel sur l’intelligence artificielle tombent la semaine où je travaille mon prochain cours sur… pourquoi il ne faut pas utiliser l’intelligence artificielle 🙃 (contexte précis : utilisation de ChatGPT dans le travail de mémoire de master MEEF en SVT)

Après un autre cours sur le biais de genre et les sciences (magnifiquement et malheureusement illustré là aussi par cette semaine), le comité Nobel doit penser que j’ai une dent contre lui 😈

Verdict du topo aux étudiant·es sur ChatGPT et mémoire de Master MEEF : « plus jamais j’utilise ChatGPT ! »

J’avoue, je ne suis pas mécontent de moi 😌

@ffigon Tu devrais le partager ici, ça peut servir à d'autres !

@jaztrophysicist @ffigon

Oui, on prend volontiers !
On devrait se faire une base collective d'arguments qui tuent l'envie de se servir de ce machin dans l'oeuf.
Tu prends ça sous quel angle ? impacts sociaux et environnementaux, ou bien textes farfelus, biais, dépossession de ce qu'ils ont vraiment voulu dire, ... ? Tout ça à la fois ?

@flomaraninchi @jaztrophysicist la réponse D 😁 je ne sais pas ce qui a eu le plus de poids, mais je pense que la partie « vous risquez de plagier ou faire des erreurs grosses comme les GAFAM à votre insu, et ça on peut le détecter » a dû avoir un effet le plus important. Après ils étaient aussi réceptifs aux problèmes éthiques (travail du clic, environnement -ce sont des MEEF SVT, donc je voulais encore moins lâcher là-dessus)

@ffigon @flomaraninchi @jaztrophysicist J’ajoute à tout ça ce qui est détaillé dans ce texte : https://danslesalgorithmes.net/2024/10/16/ia-lock-in/

Les LLM sont une énième fuite en avant de l’industrie numérique, tant pis si ça marche entre à peu près et pas du tout, l’essentiel c’est d’enfermer un max de monde le plus vite possible dans un modèle d’abonnement.

Je partage donc les diapos supports utilisées pour expliquer les dangers et problèmes à utiliser ChatGPT dans le cadre d'un mémoire de Master MEEF SVT, à toutes fins utiles (en espérant que le lien fonctionne !).

N'hésitez pas à commenter (notamment les aspects techniques, je ne suis absolument pas spécialiste -ça se sent dans l'utilisation de sources principalement secondaires ;)). Je propose aussi dans ce fil de reprendre le contenu du diapo en mode captures d'écran.

https://cloud.univ-grenoble-alpes.fr/s/4Y686JptRn9tqqr

Première partie : ChatGPT or not ChatGPT? La question elle est vite répondue...

C’est quoi ChatGPT ? Grand modèle de langage numérique et statistique dont l’apprentissage est basé sur des réseaux profonds de neurones artificiels. Ses algorithme ont été pré-entrainés sur d’énormes bases de données : Internet (dont réseaux sociaux), livres, entretiens, etc.
La spécificité de ChatGPT est qu’on peut « converser » avec lui : ses réponses sont alors
le résultat des algorithmes décrits précédemment.
« la principale fonction de ChatGPT est de prédire le mot suivant le plus probable à partir des nombreux textes qu’il a déjà vus et, parmi les différentes suites probables, de sélectionner celles qu’en général les humains préfèrent. » Frédéric Alexandre (2023) La tentation serait grande de vouloir rédiger tout ou partie de votre mémoire grâce à ChatGPT (ou tout autre agent conversationnel basé sur une IA = « intelligence » artificielle), sauf que...

1. ses caractéristiques intrinsèques en font un outil contournant les objectifs pédagogiques du travail de mémoire ;
2. elles le rendent aussi peu fiable dans le cadre de la rédaction d’un mémoire original ;
3. voire, elles le rendent dangereux (attention au plagiat !) ;
4. son utilisation, même en dehors du mémoire, pose un certain nombre de problèmes éthiques.

2nde partie : argumentaire contre l'utilisation de ChatGPT (dans le cadre du mémoire MEEF, mais aussi plus largement)

1er argument : ChatGPT n'est pas fiable.

Anecdote : ChatGPT aurait eu 5/20 à l’examen terminal d’ECOS 700 en 2023...

ChatGPT ne peut pas faire plus que ce pour quoi il a été programmé (ce n’est pas vraiment une « intelligence ») : il donne la réponse la plus vraisemblable possible compte tenu de ce sur quoi il s’est déjà entrainé (et les versions accessibles n’incorporent pas toujours les données les plus récentes, encore moins scientifiques). Cela produit donc des phrases syntaxiquement correctes, vraisemblables, logiques a priori même, mais cela ne veut pas dire que c’est la vérité (Alexandre, 2023).

On peut même considérer que ChatGPT et les autres IA sont des « perroquets statistiques », d’après la linguiste spécialiste en informatique Emily B. Brender (citée par Piquard, 2024). Elles sont extrêmement douées pour répéter ce qu’elles ont lu mais n’ont aucun recul dessus. Elles ne savent (et ne peuvent) pas raisonner. Exemples d'images générées avec Midjourney montrant des erreurs : double visière sur le casque d'un policier, main à six doigts, et pour les versions qui corrigent le nombre de doigts, ces derniers ont toujours un aspect bizarre, pas naturel. Des « hallucinations » qui sont surtout des erreurs

Le contenu généré par ChatGPT et les autres IA contient parfois (souvent ?) des « hallucinations », c’est-à-dire des éléments inventés qui n’existent pas dans le réel. Ce sont en fait purement et simplement des erreurs dues au mode de fonctionnement de leurs algorithmes (Perret, 2024 ; Six et Larrousserie, 2024)

Il est ainsi bien connu que pour détecter une image générée par AI, il faut regarder le nombre et la forme des doigts. Les IA ne comptent pas : elles produisent des éléments qui apparaissent vraisemblables, pas nécessairement qui sont justes.

Selon la manière dont la question est posée, ChatGPT peut répondre des choses complètement non-pertinentes : demandez-lui (non ne le faites pas en fait) combien de cailloux il faut manger par jour...

Selon le contenu sur lequel elle s’entraine, l’AI peut donner une réponse initialement ironique : demandez-lui (ne le faites pas non plus) une recette de pizza à la colle... Captures d'écran de posts sur X montrant les erreurs que peut faire l'IA intégrée aux recherches Googles aux États-Unis : Président avec plus d'une dizaine de diplômes entre 1947 et les années 2000, le nombre de cailloux à manger par jour (au minimum 1...) ou encore l'ajout de colle (non-toxique !) pour maintenir le fromage sur une pizza.

2nd argument : ChatGPT est un outil dangereux (pour le mémoire MEEF)

Le plagiat est une pratique (volontaire ou involontaire) consistant à s’approprier les idées de quelqu’un d’autre sans la nommer explicitement (= citer). Plagier n’implique pas forcément de copier-coller du contenu sans mettre entre guillemets ; reformuler, voire écrire avec ses propres mots sans s’aider directement du contenu initial, peut aussi s’apparenter à du plagiat si la source correspondante est omise.
Le plagiat est répréhensible, il peut vous mener en section disciplinaire et une inéligibilité aux examens, concours et inscriptions à l’université pendant cinq ans.

Nous pouvons détecter le plagiat grâce à des logiciels intégrés à Moodle. Vos rendus seront systématiquement examinés par ce système, puis par nous si jamais il y avait une présomption de plagiat. Quel lien entre plagiat et ChatGPT ? Puisqu’il s’entraine sur du contenu pré-existant, il peut copier-coller du contenu, voire reformuler des propos sans donner leur provenance (les IA sont très mauvaises pour citer leurs sources ; Turcan, 2023).

Il peut donc plagier à votre insu, et ça nous sommes capables de le détecter. C’est donc vous qui serez accusé·e de plagier, pas ChatGPT...

Pire, les IA sont notoirement connues pour inventer des sources bibliographiques, des liens internets, etc. (= « hallucinations » ; Turcan, 2023), ce que nous pouvons nous-même facilement détecter. Là aussi, vous êtes responsable du contenu de votre mémoire. Captures d'écran montrant le prompt ChatGPT de quelqu'un demandant un résumé académique sur un sujet. ChatGPT lui fournit une réponse paraissant vraisemblable, structurée et sourcée. On lui demande alors des précisions sur l'ISBN d'une référence pour pouvoir la vérifier. Il s'avère que l'ISBN fournit par ChatGPT existe bien, mais ce n'est pas le bon livre !

@ffigon Super, très à jour, j’aime beaucoup !

@ffigon un ami chercheur m'a indiqué un usage de ChatGPT que je trouvais intéressant, pour travailler sur la forme et pas le fond. Concrètement, il a mis comme prompt pour un de ses articles "reformule ce paragraphe de manière plus académique".
Et le résultat était vraiment bon.
Du coup, autant je suis tout à fait d'accord que toute création de contenu par ChatGPT est trop problématique (invention de références, contenu non scientifique, etc), mais pour les questions de forme, ça se discute

@PolGM @ffigon Bien pour ça que l’argumentaire « éthique » n’est pas à négliger (je mets des guillemets parce que c’est énorme en fait, pas comme si c’était un choix à faire sur un truc absolument nécessaire entre deux produits, avec un un peu plus propre que l’autre)

@ffigon (évidemment, c'est en mettant de côté les questions d'entraînement sur des données privées/copyrightees, et sur la consommation énergétique de ces outils)

@ffigon @flomaraninchi @jaztrophysicist alors je suis aussi preneuse des arguments pour mes collègues !

@juliegiovacchini @ffigon @flomaraninchi @jaztrophysicist oh, oui, et dans toutes les disciplines, ce serait utile, je confirme.
Le seul usage sans erreur d'un de mes patients est "chatgpt, rend ce mail formel et très poli" quand il sait qu'il a écrit un mail trop énervé.

@ffigon @flomaraninchi @jaztrophysicist Ou, pour le dire autrement :

Peu importe tous les discours sur l’humanité et la potentielle utilité sociale de « l’IA », l’industrie numérique se fout du monde et voit surtout du fric à gagner. Elle va faire tout ce qu’elle peut pour y aller, quoi qu’il en coûte, avec les marchés derrière elle parce que c’est la seule option du capitalisme pour perpétuer la si nécessaire croissance. Et toutes les ressources qui lui sont allouées manquent et manqueront là où nous en avons vraiment besoin.

@ffigon merci !

Je viens d'accorder mon premier 1/20 (un) pour un mémoire de master rédigé en très grande partie avec ChatGPT ou équivalent. Les références bibliographiques étaient presque toutes imaginaires. Elles étaient probables 😅.

On était d'accord dans le jury de ne pas mettre zéro pour reconnaitre le travail à sa juste valeur académique quand même.

(Non, je plaisante, on a juste pas osé mettre zéro)

@MarCandea @ffigon Sur ce point-là :

On était d'accord dans le jury de ne pas mettre zéro pour reconnaitre le travail à sa juste valeur académique quand même.

(Non, je plaisante, on a juste pas osé mettre zéro)

Quand j'étais étudiant, un de mes profs nous a dit qu'à partir du moment où une copie avait été rendue, il avait pour principe de ne jamais mettre zéro, toujours au moins un demi-point. Parce que, nous expliquait-il, si jamais un jour quelqu'un demande à voir ton relevé de notes et remarque un zéro dedans, tu peux t'en sortir en disant par exemple que tu n'as pas pu rendre cette copie pour telle ou telle raison. Tandis que si cette personne voit 0,5/20, c'est forcément que t'as été nul·le.

replies
2
announces
1
likes
2

@elzen @ffigon oui, il y a une sorte de doxa dans mon département, que j'ai jamais pris la peine de vérifier, selon laquelle pour plein de raisons il vaut mieux mettre 0.5 ou 1 plutôt que zéro lorsqu'il y a copie rendue. Ca montre qu'il y a clairement eu évaluation du travail et non simple absence mal saisie et calculée comme un zéro.

Bon, ceci dit quand on me rend une copie blanche je mets zéro, justement parce qu'y a pas évaluation.

Là, c'était un mémoire entier de plusieurs dizaines pages

@ffigon "perroquet statistique" j'adore.

@KewlCat @ffigon je préfère cette expression plutôt que intelligence artificielle pour nommer les LLM

@elzen @MarCandea @ffigon Chez nous, un zéro, si c'est pas une absence ou une copie blanche, il faut rédiger un rapport. Donc on met un demi-point ou un point pour avoir la paix.