Ogni modello risponde all'interno di un tratto di testo di lunghezza fissa chiamato finestra di contesto: le istruzioni ricevute, ciò che è stato recuperato per lui, la conversazione fin lì e la Sua domanda, tutto tenuto insieme nello stesso momento. L'ingegneria del contesto (context engineering) è il lavoro di decidere che cosa occupa quello spazio. Non quanto cortesemente sia formulata la domanda, ma quali documenti vengono recuperati, quali scartati, quanta parte della cronologia sopravvive e che cosa sta più vicino alla domanda. La finestra è una scrivania con uno spazio limitato, e qualcuno deve scegliere che cosa appoggiarvi.
L'errore più comune è la generosità. Davanti a una finestra limitata, l'istinto è riempirla: recuperare tutto ciò che potrebbe essere pertinente, riproporre l'intera conversazione, includere la pagina intera anziché il passaggio che risponde. Questo peggiora le risposte in un modo davvero difficile da vedere, perché non manca nulla. Un fatto che si trova a metà di un contesto lungo viene utilizzato in modo meno affidabile dello stesso fatto collocato all'inizio o alla fine, un effetto documentato abbastanza bene da essersi guadagnato un nome. Si aggiungano fonti contraddittorie, o un documento superato accanto a uno aggiornato, e il modello non ha modo di sapere a quale credere.
Guardare
La disciplina va nella direzione opposta: recuperare meno e scegliere meglio. Recuperare i tre passaggi che rispondono alla domanda anziché le quattordici pagine che la menzionano. Riassumere la conversazione invece di riproporla. Mettere il materiale che conta dove l'attenzione tiene, vicino alla domanda anziché sepolto a metà. Mantenere ogni passaggio recuperato attribuibile, così che il modello possa citarlo invece di fonderlo con tutto il resto. Ognuna di queste è una decisione su ciò che il modello può guardare, e ognuna viene presa prima che il modello entri in funzione.
Tolti gli ingranaggi, si tratta di un normale briefing. Si consegnino a un collega competente quaranta pagine e una domanda vaga, e si otterrà una risposta piena di riserve. Si consegni allo stesso collega l'unico paragrafo che conta e gli si chieda con precisione, e si otterrà una risposta utile. La sua intelligenza non è cambiata tra i due tentativi. È cambiato ciò che aveva in mano quando gli è stata posta la domanda.
Per chi possiede un sito web anziché costruire questi sistemi, la metà che conta è ciò che viene recuperato in primo luogo. Quando un assistente risponde a una domanda sulla Sua attività, le Sue pagine sono il materiale tra cui sceglie la fase di recupero di qualcun altro. Se un Suo passaggio supera quella selezione dipende da cose che Lei controlla: se può essere letto, se porta una data, e se risponde alla domanda da solo anziché appoggiarsi al paragrafo che lo precede. Non si può progettare il contesto di qualcun altro. Si può decidere che cosa offrirgli.
