Un grande modello ha imparato qualcosa che non si può leggere facilmente nei suoi pesi: non solo quale risposta sia giusta, ma quanto ci andassero vicino tutte quelle sbagliate. Se gli si chiede di nominare un animale, non dice semplicemente «cane». Dice «cane», in modo schiacciante, con un debole residuo di «lupo», uno ancora più debole di «volpe» e praticamente nulla per «teiera». Quel residuo è il senso, accumulato dal modello, di quanto il mondo somigli a sé stesso. La distillazione è la pratica di addestrare un modello più piccolo su quelle distribuzioni complete anziché sulle sole risposte corrette, lasciando che lo studente erediti il giudizio dell'insegnante e non soltanto le sue conclusioni.
L'obiezione ovvia è che una copia dovrebbe essere peggiore dell'originale. Di solito lo è, ma molto meno di quanto chiunque si aspettasse, e a una piccola frazione del costo. È qui che cominciano i guai. Un modello che ha richiesto centinaia di milioni di dollari e un data center per essere addestrato può essere approssimato, abbastanza bene per la maggior parte degli usi, da un concorrente che si limita a porgli moltissime domande e ad addestrarsi sulle risposte. Alla tecnica non importa se l'insegnante abbia acconsentito. È anche una tecnica con perdite difficili da vedere: lo studente eredita i punti ciechi dell'insegnante insieme al suo giudizio, e li eredita privati dei dati di addestramento che permetterebbero a chiunque di capire da dove vengano.
Così la pratica si trova in due luoghi contemporaneamente. Dentro un laboratorio è ordinaria e utile: si addestra con cura un modello molto grande, poi lo si distilla in qualcosa di abbastanza piccolo da girare su un telefono, abbastanza economico da servire su larga scala, abbastanza veloce da rispondere mentre il lettore presta ancora attenzione. Quasi ogni modello con cui si interagisce davvero è più piccolo del miglior modello posseduto da chi lo produce, e la distillazione è in buona parte il motivo per cui questo è sostenibile. Fuori dal laboratorio è un problema di governance che nessuno ha risolto: le condizioni d'uso la vietano, individuarla è difficile, e dimostrarla in tribunale lo è ancora di più.
Tolti gli ingranaggi, si tratta di apprendistato, con la stessa vecchia asimmetria. L'abilità del maestro ha richiesto una carriera per essere acquisita; l'apprendista ne acquisisce una versione funzionante in pochi anni, senza aver mai commesso gli errori che l'hanno prodotta. Qualcosa di reale si trasmette. E qualcosa, invece, no. Ciò che l'apprendista ottiene non è la conoscenza del maestro, ma una sua compressione: affidabile nei casi ordinari, silenziosamente inaffidabile proprio ai margini che il maestro avrebbe riconosciuto a colpo d'occhio. Da secoli discutiamo se questo sia un furto o semplicemente il modo in cui la conoscenza si è sempre mossa. Le macchine hanno solo reso urgente la discussione.
