Stellen Sie sich einen Schreibtisch vor, auf dem eine feste Anzahl Seiten Platz hat. Alles, was das Modell braucht, um zu antworten, muss in dem Moment, in dem es antwortet, auf diesem Tisch liegen: die stehenden Anweisungen, die es erhalten hat, was immer für Sie abgerufen wurde, jeder frühere Gesprächsbeitrag und Ihre eigentliche Frage. Dieser Umfang ist das Kontextfenster (Context Window), und er wird in Tokens gemessen, nicht in Wörtern. Es ist kein Speicher und kein Gedächtnis. Es ist die Gesamtheit dessen, was für das Modell in dem Augenblick existiert, in dem es antwortet.
Das Wort «Fenster» verleitet zur Vorstellung, man blicke hinaus auf etwas Grösseres, und es gibt nichts Grösseres. Was nicht auf dem Tisch liegt, wurde nicht vergessen — es war nie da. Daraus entsteht ein Fehler ohne Symptom. Wächst ein Gespräch über die Grenze hinaus, fallen die frühesten Beiträge weg, und das Modell kündigt das nicht an, kann es nicht bemerken und antwortet mit genau der Gelassenheit, die es hatte, solange es sie noch sehen konnte. Sie haben es vor vierzig Nachrichten gebeten, sich an eine Vorgabe zu halten; es verweigert sich Ihnen nicht, und es lügt nicht. Die Vorgabe liegt schlicht ausserhalb der Welt.
Weil das Fenster endlich ist und alles um denselben Platz konkurriert, ist seine Grösse zur Schlagzeilenzahl geworden — hunderttausend Tokens, eine Million, Tendenz steigend. Zwei Dinge sollte man über diese Zahlen wissen. Das erste ist die Umrechnung: Ein Token entspricht im Englischen etwa drei Vierteln eines Wortes, hunderttausend davon ergeben also ungefähr einen langen Roman. Das zweite: Kapazität und Nutzung sind verschiedene Fragen. Ein Modell mit einem enormen Fenster greift auf Material, das in dessen Mitte vergraben ist, immer noch weniger verlässlich zurück als auf Material nahe an einem der beiden Enden, und jedes Token im Fenster wird bei jedem Durchgang erneut bezahlt. Deshalb hat die Entscheidung darüber, was hineinkommt, eine eigene Disziplin, und deshalb ist die Antwort auf ein volles Fenster selten ein grösseres.
Die menschliche Version ist der Unterschied zwischen dem, was man weiss, und dem, was man gerade in der Hand hält. Eine Kollegin mit dreissig Jahren im Fach, der man in Eile die falschen drei Seiten reicht, wird Ihnen eine schlechtere Antwort geben als ein Neuling mit den richtigen. Ihr Wissen ist nicht geschrumpft; ihr Blickfeld schon. Das Fenster ist dieses Blickfeld, mit einer harten Kante gezogen — und das Unbequeme daran ist, dass ein enges und ein weites Blickfeld von innen genau gleich aussehen.
