La chaîne de pensée (chain of thought) désigne le fait, pour un modèle, de traiter un problème par étapes intermédiaires visibles — en exposant son raisonnement avant de s’engager sur une réponse, comme un professeur de mathématiques exige que l’on montre ses calculs. Ce fut d’abord une astuce de prompt. Des chercheurs ont constaté qu’ajouter à une question une formule aussi simple que « réfléchissons étape par étape » améliorait de façon mesurable la précision sur des problèmes où le même modèle venait d’échouer. L’instruction n’apportait aucune information nouvelle. Elle ne changeait que la forme de la sortie, et cette forme s’est révélée compter.
La raison pour laquelle cela fonctionne est plus mécanique qu’il n’y paraît. Un modèle de langage produit un token à la fois, et chaque token qu’il génère devient une partie de l’entrée qu’il lit pour produire le suivant. Un modèle qui répond immédiatement n’a que la question pour travailler. Un modèle qui écrit ses étapes s’est donné un brouillon — chaque ligne intermédiaire est un contexte supplémentaire sur lequel il peut s’appuyer, et un calcul supplémentaire dépensé avant que la réponse ne soit due. Penser à voix haute n’est pas ici une métaphore. Les mots sur la page sont, très littéralement, l’endroit où se fait une partie du travail.
C’est aussi là que les ennuis commencent. Une chaîne de pensée ressemble à une explication, et l’on est tenté de la lire comme telle — comme une fenêtre ouverte sur le raisonnement réel du modèle. Ce n’en est pas une, ou du moins pas de façon fiable. Les étapes sont produites par le même processus que tout le reste : du texte plausible, conditionné par ce qui précède. Des chercheurs ont montré qu’un modèle poussé vers une mauvaise réponse par un prompt biaisé génère souvent une chaîne de raisonnement fluide et assurée qui ne mentionne jamais cette poussée, et parvient à la conclusion qu’on lui a soufflée par un argument qui se lit parfaitement bien. La justification écrite et le calcul sous-jacent peuvent diverger, et la lecture ne permet pas de savoir s’ils ont divergé dans un cas donné.
La technique a depuis cessé d’être un prompt pour devenir une architecture. La génération actuelle de modèles de raisonnement est entraînée à délibérer longuement avant de répondre, parfois sur des milliers de tokens que le lecteur ne voit jamais, la longueur de cette délibération étant traitée comme un bouton que l’on peut tourner vers le haut pour les problèmes plus difficiles. Les gains en mathématiques, en programmation et en logique à plusieurs étapes sont substantiels et bien documentés. Ils coûtent aussi de l’argent et du temps bien réels à chaque question, ce qui marque un véritable changement : pendant la majeure partie de l’histoire de ce domaine, le coût d’une réponse d’un modèle entraîné était à peu près fixe. Réfléchir plus longtemps est désormais quelque chose qui s’achète.
La transposition humaine sera familière à quiconque a déjà résolu un problème difficile en le formulant à voix haute et trouvé la réponse quelque part en chemin. Raisonner à voix haute aide réellement, et pour à peu près la même raison qu’avec un modèle : cela place les étapes intermédiaires quelque part hors de votre tête, si bien que vous n’avez pas à les garder toutes à l’esprit en même temps. La moitié inconfortable du parallèle est tout aussi familière. Les gens produisent eux aussi des récits assurés des raisons de leurs décisions, et ces récits sont souvent des reconstructions assemblées après coup plutôt que des transcriptions de la décision. Nous le savons de nous-mêmes depuis des décennies. Il ne devrait pas être surprenant de le retrouver dans un système entraîné sur tout ce que nous avons écrit.
