Le leggi di scala sono quanto di più vicino a una curva ingegneristica abbia la ricerca sull'IA. Si riporti l'errore di un modello in funzione del calcolo speso per addestrarlo, con assi logaritmici su entrambi i lati, e il risultato non è una nuvola di punti: è quasi una retta. L'errore scende come una potenza delle risorse investite: più calcolo, più dati, più parametri, e il modello migliora in modo prevedibile. La parola «legge», qui, si prende un po' troppe libertà. Sono regolarità empiriche osservate in molti cicli di addestramento, non fisica. Ma hanno retto per diversi ordini di grandezza, il che è più di quanto possa vantare quasi tutto nel software.
Due cose si perdono nel racconto. La prima è che una retta che sembra dolce su un asse logaritmico è brutale su uno lineare: ogni ulteriore incremento di qualità costa diverse volte il precedente, ed è così che i budget di addestramento dei modelli di frontiera sono passati da milioni a centinaia di milioni e continuano a salire. La seconda è che una legge di scala prevede la perdita (quanto bene il modello prevede il token successivo) e non ciò che interessa davvero a qualcuno. Le capacità arrivano in modo disomogeneo, a volte sembrano fare un salto, e sotto una curva della perdita perfettamente liscia può nascondersi una curva molto accidentata di ciò che il modello sa fare.
Ciò che rende le leggi di scala davvero utili è che permettono a un laboratorio di spendere denaro con cognizione di causa. Prima di impegnarsi in un addestramento su cui non si può tornare indietro, si traccia la curva su modelli piccoli e si estrapola: questo budget, ripartito così tra dati e parametri, dovrebbe arrivare all'incirca qui. La scoperta più gravida di conseguenze è stata che il settore costruiva modelli troppo grandi e li nutriva troppo poco: a parità di budget, un modello più piccolo addestrato su molti più dati riesce meglio. Quasi tutto ciò che è stato costruito da allora è stato plasmato da quell'aritmetica. Le leggi fissano anche i limiti: se la qualità cresce con i dati e i dati buoni si stanno esaurendo, prima o poi la curva incontra un problema che la spesa non può risolvere.
L'equivalente umano è una previsione su cui si può agire ma di cui non ci si dovrebbe innamorare. Le leggi di scala sono il motivo per cui gli ultimi anni sono sembrati inevitabili a chi li ha vissuti dall'interno: la curva continuava a reggere, quindi il risultato successivo non era mai davvero una sorpresa. Sono anche il motivo per cui tante previsioni sicure che si leggono parlano di calcolo anziché di conseguenze. Una retta che ha retto per un decennio è una prova davvero solida. Non è una promessa, e non ha mai detto a nessuno che cosa il modello si sarebbe rivelato capace di fare.
