Si immagini uno strumento con un miliardo di bischeri. Non lo si può accordare a orecchio, un bischero alla volta: nessuno ha a disposizione tante vite. Allora si suona una nota, si misura quanto sia stonata e si gira ogni singolo bischero di una frazione di giro nella direzione che l'avrebbe resa un po' meno sbagliata. Poi lo si rifà. E ancora, qualche bilione di volte. Questo è l'addestramento. La nota suonata è un'ipotesi sulla parola successiva in un testo; la misura dell'errore è ciò che gli ingegneri chiamano perdita (loss); la regolazione di tutti i bischeri insieme è la discesa del gradiente.
La parola «addestramento» fa un certo danno, perché evoca un insegnante e un allievo, e non c'è né l'uno né l'altro. Nessuno sceglie le lezioni o spiega la materia. Il modello assorbe le regolarità statistiche di ciò che gli è stato mostrato: il ragionamento e la buona prosa, ma anche gli errori, le omissioni e i presupposti che nessuno, nei testi di partenza, ha pensato di dire ad alta voce. Può memorizzare quando avrebbe dovuto generalizzare, ed è il difetto chiamato sovradattamento. E l'addestramento ha un confine netto: finisce. Il modello viene congelato a una certa data e non impara nulla dalla persona che lo usa. Correggere un chatbot non gli insegna niente. La correzione dura quanto la conversazione, e non un secondo di più.
Questo fa dell'addestramento un genere di ingegneria insolitamente spietato. È concentrato all'inizio, enorme e di fatto irreversibile: mesi di calcolo su decine di migliaia di chip specializzati, a un costo che ormai arriva a centinaia di milioni. Quasi ogni decisione (quali dati, quale dimensione, quale obiettivo) si prende prima che l'addestramento cominci, e solo alla fine si scopre se era giusta. Le fasi successive sono più economiche e più circoscritte. L'affinamento orienta un modello già addestrato verso un uso particolare; l'apprendimento per rinforzo da feedback umano plasma il modo in cui si comporta, non ciò che sa. Ma la gran parte di ciò che un modello è si è decisa durante quel primo lungo ciclo, e non si può rinegoziare in seguito.
L'equivalente umano è tutto ciò che Lei sapeva prima di entrare nella stanza. La Sua formazione ha richiesto anni, è costata molto, ha attinto a materiale che non ha scelto e non si può ripetere; e nulla di tutto questo è ciò che gli altri vedono davvero. Ciò che vedono è quello che Lei fa nella stanza, che è tutt'altra cosa, e che il settore chiama inferenza. L'addestramento è dove si stabiliscono i record e si scrivono i titoli. Non è dove si svolge la maggior parte del lavoro.
