Si immagini una scrivania con spazio per un numero fisso di pagine. Tutto ciò di cui il modello ha bisogno per rispondere deve trovarsi su quella scrivania nel momento in cui risponde: le istruzioni permanenti ricevute, ciò che è stato recuperato per conto Suo, ogni turno precedente della conversazione e la Sua domanda vera e propria. Quel tratto è la finestra di contesto, e si misura in token anziché in parole. Non è un archivio e non è memoria. È la totalità di ciò che esiste per il modello nell'istante in cui risponde.

La parola «finestra» invita a immaginare di affacciarsi su qualcosa di più grande, e non c'è nulla di più grande. Ciò che non si trova sulla scrivania non è stato dimenticato: non c'è mai stato. Ne deriva un guasto senza sintomi. Quando una conversazione supera il limite, i primi turni scivolano via, e il modello non lo annuncia, non può accorgersene e risponderà con esattamente la stessa compostezza che aveva quando poteva ancora vederli. Lei gli aveva chiesto di rispettare un vincolo quaranta messaggi fa; non Le sta disobbedendo e non sta mentendo. Il vincolo, semplicemente, è fuori dal mondo.

Poiché la finestra è finita e tutto si contende lo stesso spazio, la sua dimensione è diventata un dato da prima pagina: centomila token, un milione, e oltre. Su quei numeri vale la pena sapere due cose. La prima è la conversione: in inglese un token corrisponde a circa tre quarti di parola, quindi centomila token equivalgono più o meno a un lungo romanzo. La seconda è che capacità e uso sono questioni diverse. Un modello dotato di una finestra enorme attinge comunque in modo meno affidabile al materiale sepolto nel mezzo che a quello vicino all'una o all'altra estremità, e ogni token nella finestra viene pagato di nuovo a ogni turno. Per questo decidere che cosa entra ha una disciplina tutta sua, e per questo la risposta a una finestra piena è raramente una finestra più grande.

La versione umana è la differenza tra ciò che si sa e ciò che, in quel momento, si ha in mano. Un collega con trent'anni di esperienza nel settore, a cui si consegnano le tre pagine sbagliate e si chiede in fretta, darà una risposta peggiore di un principiante a cui si consegna quella giusta. La sua conoscenza non si è ridotta; si è ridotta la sua visuale. La finestra è quella visuale, tracciata con un bordo netto; e la parte scomoda è che, dall'interno, una visuale stretta e una ampia sembrano esattamente uguali.