Un grand modèle de langage (LLM, pour large language model) est un réseau de neurones entraîné à prédire le token suivant dans une séquence de texte. Face à la phrase « le ciel est », il attribue des probabilités à ce qui suit — « bleu » obtient un score plus élevé que « mardi », bien que les deux soient techniquement possibles. Faites cela à une échelle énorme, avec des centaines de milliards de paramètres entraînés sur d’immenses quantités de textes écrits, et quelque chose d’inattendu émerge : le modèle développe ce qui ressemble fort à de la compréhension. Il peut traduire, résumer, raisonner, écrire du code et tenir une conversation cohérente — non parce qu’on lui a explicitement appris l’une de ces choses, mais parce qu’elles se ramènent toutes, à un certain niveau, à des motifs dans le langage.
Le « grand » compte plus qu’il n’y paraît. Des modèles de langage plus petits, entraînés de la même manière sur les mêmes données, obtiennent des résultats modestes. À partir d’une certaine échelle — personne ne sait exactement où se situe le seuil —, apparaissent des capacités pour lesquelles le modèle n’a pas été directement entraîné. On parle parfois d’émergence, et c’est l’une des propriétés véritablement surprenantes, et encore mal comprises, de ces systèmes. GPT-4, Claude, Gemini et leurs successeurs sont tous de grands modèles de langage. La saisie automatique de votre téléphone aussi, simplement beaucoup, beaucoup plus petite.
Comprendre ce qu’est un LLM change la manière de lire les affirmations sur l’IA. Quand un modèle de langage dit avec assurance quelque chose de faux, ce n’est pas un dysfonctionnement — il fait exactement ce pour quoi il a été entraîné, prédire un texte plausible, et un texte plausible est parfois faux. Le modèle n’a par défaut aucune mémoire des conversations précédentes, aucune connaissance du monde postérieure à la date limite de son entraînement, et aucun mécanisme pour vérifier si ce qu’il dit est vrai. Ce ne sont pas des bugs à corriger ; ce sont des propriétés de l’architecture.
Dans le débat public, le terme est employé de façon lâche pour désigner à peu près tout ce qui touche à l’IA. Il vaut la peine de garder la définition précise, parce que la précision compte. Un grand modèle de langage est un type de système particulier, avec des forces particulières et des modes de défaillance particuliers. Les organisations et les personnes qui tirent le meilleur de ces outils sont presque toujours celles qui comprennent ce qu’ils sont réellement, plutôt que ce que le marketing laisse entendre qu’ils pourraient être.
