Il pre-addestramento (pre-training) è il primo atto, lungo e senza una direzione: la P di GPT. A un modello viene mostrata un'enorme quantità di testo, una parte considerevole dell'internet scritto, più libri, codice e trascrizioni. Gli viene assegnato un unico compito, di una semplicità quasi assurda: dato tutto ciò che precede, prevedere che cosa viene dopo. Niente etichette, niente lezioni, nessuno che corregga il lavoro. Somiglia più a un apprendistato per immersione che a un corso: nessuno spiega il mestiere, si passano semplicemente anni in bottega finché gli schemi non sono nelle mani. Il «pre» significa prima di qualunque cosa specifica: prima che il modello sia stato indirizzato a un uso, a un compito o a un pubblico.
Poiché nessuno seleziona ciò in cui il modello si immerge, esso acquisisce tutto ciò che il corpus contiene: il ragionamento accurato e quello sciatto, il consenso e il pregiudizio, l'affermazione ben documentata e la sciocchezza sicura di sé che le sta accanto sulla pagina. E non acquisisce alcun senso di quale sia quale. Un modello appena uscito da un ciclo di pre-addestramento non è un assistente disponibile: è qualcosa di più strano e molto meno utile, una macchina che prosegue una frase in qualunque registro sia stata cominciata, compresi registri che nessuno voleva. Tutto ciò che fa sembrare un modello paziente, o riluttante, o sicuro è stato aggiunto dopo, in fasi molto meno costose.
È qui che finisce quasi tutto il denaro, ed è la fase che non si può ripetere alla leggera. Dura mesi su decine di migliaia di chip e consuma quasi tutto il testo che qualcuno sia riuscito a raccogliere, il che sta diventando a sua volta il vincolo, perché la disponibilità di scrittura umana di alta qualità è finita e in gran parte già spesa. Le decisioni che contano si prendono tutte prima che cominci: quanti dati, quanto grande il modello, come ripartire tra i due un budget di calcolo fisso. Azzeccare questa ripartizione non è questione di intuito. È a questo che servono le leggi di scala.
L'equivalente umano è la parte della propria formazione che nessuno ha progettato. Non il programma di studio, ma le letture fatte comunque, le discussioni ascoltate per caso, gli anni passati ad assorbire il modo in cui parla chi lavora nel proprio campo, prima di avere qualcosa di proprio da dire. È poco appariscente, in gran parte invisibile e impossibile da ricostruire a posteriori. Ed è anche, per un modello come per una persona, il luogo da cui è venuto quasi tutto.
