Imaginez un bureau qui peut accueillir un nombre fixe de pages. Tout ce dont le modèle a besoin pour répondre doit se trouver sur ce bureau au moment où il répond : les instructions permanentes qu’on lui a données, ce qui a été récupéré pour vous, chaque tour précédent de la conversation et votre question proprement dite. Cette étendue est la fenêtre de contexte, et elle se mesure en tokens plutôt qu’en mots. Ce n’est ni un stockage ni une mémoire. C’est la totalité de ce qui existe pour le modèle à l’instant où il répond.
Le mot « fenêtre » invite à imaginer un regard porté vers quelque chose de plus vaste, et il n’y a rien de plus vaste. Ce qui n’est pas sur le bureau n’a pas été oublié — cela n’y a jamais été. Il en résulte un échec sans symptôme. Lorsqu’une conversation dépasse la limite, les premiers tours disparaissent, et le modèle ne l’annonce pas, ne peut pas le remarquer, et répondra avec exactement le même aplomb que lorsqu’il pouvait encore les voir. Vous lui avez demandé de respecter une contrainte il y a quarante messages ; il ne vous oppose pas de refus et il ne ment pas. La contrainte est simplement hors du monde.
Parce que la fenêtre est finie et que tout se dispute la même place, sa taille est devenue un chiffre vedette — cent mille tokens, un million, et cela continue de grimper. Deux choses méritent d’être sues à propos de ces chiffres. La première est la conversion : un token correspond à environ trois quarts de mot en anglais, si bien que cent mille tokens représentent à peu près un long roman. La seconde est que la capacité et l’usage sont deux questions différentes. Un modèle doté d’une fenêtre énorme exploite encore de façon moins fiable ce qui est enfoui en son milieu que ce qui se trouve près de l’une ou l’autre extrémité, et chaque token de la fenêtre se paie de nouveau à chaque tour. C’est pourquoi décider de ce qui y entre est une discipline à part entière, et pourquoi la réponse à une fenêtre pleine est rarement une fenêtre plus grande.
La version humaine, c’est la différence entre ce que vous savez et ce que vous avez sous les yeux à un moment donné. Un collègue fort de trente ans de métier, à qui l’on remet les trois mauvaises pages et que l’on interroge dans la précipitation, vous donnera une réponse moins bonne qu’un novice à qui l’on a remis la bonne. Son savoir n’a pas rétréci ; son champ de vision, si. La fenêtre est ce champ de vision, tracé avec un bord net — et ce qui dérange, c’est que de l’intérieur, un champ étroit et un champ large se ressemblent exactement.
