« Le chat dort sur le… » Avant même la fin de la phrase, vous avez deviné : tapis, lit, paillasson. Les grands modèles de langue, ou LLM, ne font rien d’autre, mais à une échelle qui leur permet d’écrire presque comme nous. Comment un principe aussi simple produit-il un langage aussi convaincant, et qu’en tirent les linguistes ?
Après « créole » et « langue d’héritage », le Linguodex, le podcast du projet EFL, poursuit son tour du vocabulaire de la linguistique avec un troisième mot : LLM. Pour cet épisode 3, Benoît Crabbé, professeur de linguistique informatique à l’Université Paris Cité et membre du Laboratoire de linguistique formelle, part de la définition pour arriver aux questions que ces machines posent à la recherche et à la société.
Un LLM, c’est d’abord un objet mathématique
LLM signifie large language model, grand modèle de langue. Avant d’être un assistant conversationnel, un modèle de langue est, selon Benoît Crabbé, « simplement un objet mathématique qui va donner une probabilité à toute phrase que l’on peut imaginer prononcer dans une langue ».
Cette probabilité se décompose en une suite de prédictions : « étant donné un contexte de mots, prédire le mot suivant », explique-t-il. C’est ce qui permet de générer du texte, mot après mot.
Le jeu du mot suivant
Le modèle ne prend pas toujours le mot le plus probable : il tire au sort selon les probabilités : « Plus on est probable, plus on a de chances d’être tiré au sort. Mais on peut être aussi tiré au sort en étant un peu moins probable que le meilleur candidat. » C’est ce mécanisme, précise-t-il, qui fait tourner les assistants grand public comme ChatGPT, Claude ou Gemini.
La tâche n’a rien de mystérieux : « les humains peuvent même jouer au jeu de prédire ce qui va suivre ». Devant « le chat dort sur le… », chacun propose « le paillasson, sur le tapis, sur le lit ». Un modèle de langue attribue simplement une probabilité élevée à ce genre de mots.
Une idée de plus d’un siècle
L’idée de modèle de langue « est très ancienne, elle a plus de 100 ans », rappelle Benoît Crabbé. Elle remonte au mathématicien russe Andreï Markov, spécialiste des probabilités : « Markov s’intéressait à étudier la poésie russe, et en fait les poèmes de Pouchkine. » En 1913, il compte à la main l’enchaînement des voyelles et des consonnes dans Eugène Onéguine : « c’était tout papier-crayon ».
Dans les années 1950, Claude Shannon, père de la théorie de l’information, montre que les humains prédisent très bien la suite d’un texte. Une idée restée centrale en sciences cognitives et en psycholinguistique : « quand on produit du langage ou même quand on en écoute, on est capable de prédire ce qui va suivre ».
Pourquoi ça marche maintenant
Si le principe est si ancien, pourquoi a-t-il fallu attendre les années 2020 ? « C’est l’arrivée des réseaux de neurones modernes qui a permis ça largement », répond Benoît Crabbé, avec la puissance de calcul des processeurs graphiques, qui permet d’entraîner ces modèles à très grande échelle.
À petite échelle, le résultat restait médiocre. Les textes générés par la traduction automatique des années 1980 et 1990 ressemblaient à la langue visée, sans plus : « Ça fait un peu casserole, texte de robot pas tout à fait bien dérouillé. » Le passage à l’échelle, notamment à partir de GPT-3, a produit des textes qui ont commencé à ressembler à quelque chose « de presque humain ».
Ce que les linguistes en font
On observe depuis plusieurs dizaines d’années un lien entre la probabilité du mot suivant et la façon dont nous lisons : « si un modèle est très sûr du mot qui va suivre, on a une tendance que les gens vont le lire plus vite ». Des signaux mesurés par électroencéphalogramme se mettent aussi en relation avec ce degré de certitude, ce que Benoît Crabbé appelle « la surprise ».
Surtout, on ne peut pas ouvrir un cerveau humain pour voir comment il produit des phrases. Or « un modèle de langue, ça parle », et « c’est un réseau de neurones, ça se dissèque ». Chercher dans ces modèles des mécanismes utiles à la théorie linguistique est, dit-il, « une ligne de recherche ambitieuse », très active aujourd’hui. On peut aussi y mener des expériences impossibles chez l’humain : « On ne peut pas dire à un humain, tiens, on va te faire une petite ablation de mémoire. » Avec un modèle, on peut retirer du contexte et mesurer l’effet sur la prédiction.
Un objet artificiel, pas un être humain
Faut-il pour autant prêter une pensée à ces machines ? Benoît Crabbé reste prudent (« je ne sais pas si c’est une idée reçue »), mais il observe « une grosse tendance à l’anthropomorphisation ». Un LLM produit du langage et simule des raisonnements, mais « ça reste un objet artificiel », et « normalement un modèle de langue n’a pas de but en soi ».
Il conclut sur les enjeux : ces modèles posent « des questions sociétales, qui sont probablement majeures dans les années à venir », avec des usages qui peuvent être très bons comme dangereux. Pour lui, « la recherche publique a un rôle à jouer, justement, d’informer ».
🎧 Écouter l’épisode : https://www.podcastics.com/podcast/episode/llm-438963/