L'addestramento è imparare a leggere. L'inferenza è leggere una frase. Il primo ha richiesto anni e ci ha cambiati per sempre; la seconda richiede un istante e non cambia nulla di noi. Tecnicamente, l'inferenza è un singolo passaggio in avanti: le Sue parole vengono scomposte in token, quei token attraversano una volta i parametri fissi del modello, e dall'altra parte esce una distribuzione di probabilità su ciò che dovrebbe venire dopo. Si sceglie un token, lo si aggiunge in fondo, e l'intero percorso riparte dall'inizio. Un modello che scrive un paragrafo di cento parole ha compiuto quel percorso cento volte.
La conseguenza che sorprende di più è che ogni passaggio è privo di memoria. Il modello non ricorda il Suo ultimo messaggio, e nemmeno l'ultima frase che ha scritto, a meno che quel testo non gli venga restituito come parte dell'input: ed è esattamente questo che è una finestra di contesto, ed è per questo che ha un limite, e per questo una lunga conversazione diventa più costosa a ogni scambio anziché meno. Ciò che sembra un modello che si ricorda di Lei è un modello che La rilegge. È un'illusione abbastanza onesta, ma vale la pena sapere con quale delle due si ha a che fare.
L'inferenza costa poco una volta ed è rovinosa nel complesso. Un ciclo di addestramento è un'unica fattura, per quanto grande. L'inferenza è una fattura che arriva ogni volta che qualcuno chiede qualcosa, per sempre, e cresce con il successo anziché diminuire. Secondo la maggior parte delle stime, la potenza di calcolo spesa oggi per servire i modelli ha superato quella spesa per costruirli: un'inversione avvenuta in silenzio, e accelerata quando i modelli di ragionamento hanno cominciato a spendere per ogni risposta molta più potenza di calcolo della generazione precedente. Ecco perché tanto lavoro di ingegneria è dedicato a rendere più economica una singola risposta: distillare modelli grandi in modelli piccoli, mettere in cache tutto ciò che si può, memorizzare i numeri con una precisione inferiore. Una frazione di centesimo, moltiplicata per qualche miliardo, è una cifra seria.
La traduzione umana è la giornata di lavoro. L'istruzione è costosa, finita, e ce la si lascia alle spalle; il lavoro costa poco all'ora, non finisce mai, ed è lì che il valore si manifesta davvero, per noi e per chiunque ci paghi. Abbiamo passato un decennio affascinati da come queste cose vengono costruite. Il conto, e la maggior parte delle conseguenze, arrivano dall'altra parte.
