Che cosa dice la risposta corretta Che cosa dice il modello insegnante
Se conosce solo la risposta corretta, un modello impara che la foto è un cane e nient'altro. Se conosce ciò che il modello insegnante pensava davvero — cane 78%, lupo 12%, volpe 6%, gatto 3%, teiera 0.4% — impara anche che un lupo è quasi un cane e che una teiera non gli somiglia per nulla. Questa forma in più è ciò che la distillazione trasferisce.

Le due colonne descrivono la stessa fotografia. La risposta corretta è un unico picco: vera, ma quasi vuota. La risposta dell'insegnante ha una forma: il residuo su lupo, volpe e gatto è il suo senso accumulato di come il mondo somigli a sé stesso, ed è la parte da cui un modello studente impara davvero.