L’entraînement, c’est apprendre à lire. L’inférence, c’est lire une phrase. Le premier a pris des années et vous a changé pour toujours ; la seconde prend un instant et ne change rien en vous. Techniquement, l’inférence est une passe avant unique : vos mots sont découpés en tokens, ces tokens traversent une fois les paramètres figés du modèle, et il en ressort une distribution de probabilité sur ce qui devrait venir ensuite. Un token est choisi, ajouté à la fin, et tout le trajet recommence depuis le début. Un modèle qui écrit un paragraphe de cent mots a fait ce trajet cent fois.
La conséquence qui surprend le plus est que chaque passe est sans mémoire. Le modèle ne se souvient pas de votre dernier message, ni même de la dernière phrase qu’il a écrite, à moins que ce texte ne lui soit rendu dans l’entrée — c’est précisément ce qu’est une fenêtre de contexte, la raison pour laquelle elle a une limite, et la raison pour laquelle une longue conversation coûte plus cher à chaque tour, et non moins. Ce qui ressemble à un modèle qui se souvient de vous est un modèle qui vous relit. L’illusion est assez honnête, mais il vaut la peine de savoir à laquelle des deux on a affaire.
L’inférence est bon marché à l’unité et ruineuse en cumul. Un entraînement est une facture unique, si élevée soit-elle. L’inférence est une facture qui arrive chaque fois que quelqu’un demande quoi que ce soit, pour toujours, et qui grossit avec le succès au lieu de diminuer. De l’avis général, la puissance de calcul consacrée aujourd’hui à servir les modèles a dépassé celle consacrée à les construire — un renversement survenu sans bruit, et qui s’est accéléré quand les modèles de raisonnement ont commencé à dépenser bien plus de calcul par réponse que la génération précédente. C’est pourquoi tant d’efforts d’ingénierie visent à rendre chaque réponse moins chère : distiller de grands modèles en petits, mettre en cache tout ce qui peut l’être, stocker les nombres avec une précision moindre. Une fraction de centime, multipliée par quelques milliards, fait une somme sérieuse.
L’équivalent humain, c’est la journée de travail. Les études sont coûteuses, finies, et derrière vous ; le travail est bon marché à l’heure, ne s’arrête pas, et c’est là que la valeur se manifeste réellement — pour vous et pour tous ceux qui vous paient. Nous avons passé une décennie fascinés par la manière dont ces choses sont construites. La facture, et l’essentiel des conséquences, arrivent de l’autre côté.
