Quand un modèle de langage lit votre message, il ne voit pas des lettres ou des mots comme le ferait un humain. Il voit des tokens : de petits fragments de texte qui sont la véritable monnaie du modèle. « Incroyablement » peut faire un token ou trois, selon sa fréquence dans les données d’entraînement. « Le » en fait presque certainement un seul. L’espace qui précède un mot est tantôt intégré à son token, tantôt non. La correspondance exacte est fixée par le tokeniseur du modèle, un composant distinct entraîné à découper efficacement n’importe quelle chaîne de texte en ces unités.
Pourquoi ne pas simplement utiliser des mots ? Parce que le langage est plus désordonné que ne le laissent croire les dictionnaires. De nouveaux mots apparaissent ; les noms propres sont inédits ; les langues se mêlent et se fondent. Les tokens — qui comptent en moyenne trois à quatre caractères en anglais — offrent un juste milieu pratique entre les lettres (trop fines) et les mots (trop rigides pour les cas limites). Ils permettent au modèle de traiter n’importe quel texte qu’il rencontre, y compris ce qu’il n’a jamais vu.
Le nombre de tokens d’un texte a des conséquences pratiques. Les fournisseurs de modèles facturent généralement au token. Les fenêtres de contexte — la quantité de texte qu’un modèle peut garder à la fois en mémoire de travail — se mesurent en tokens. Un roman typique compte environ 100 000 à 120 000 tokens. Une longue conversation peut remplir une fenêtre de contexte plus vite qu’on ne le pense.
Le savoir rend plus précise la métaphore du nuage de probabilités. Quand un modèle de langage travaille à partir d’une distribution de probabilité sur les mots possibles, cela signifie plus exactement : sur les tokens possibles. Le nuage se résout un token à la fois. Chaque choix façonne la distribution du suivant. La phrase que vous lisez est née d’une chaîne de ces effondrements.
