Ce que dit la bonne réponse Ce que dit le modèle enseignant
S’il ne connaît que la bonne réponse, un modèle apprend que la photo montre un chien, et rien d’autre. S’il connaît ce que le modèle enseignant pensait réellement — chien 78 %, loup 12 %, renard 6 %, chat 3 %, théière 0,4 % — il apprend aussi qu’un loup est presque un chien et qu’une théière n’y ressemble en rien. Cette forme en plus, c’est ce que la distillation transmet.

Les deux colonnes décrivent la même photographie. La bonne réponse est un pic unique : vraie, mais presque vide. La réponse de l’enseignant a une forme : le résidu sur loup, renard et chat est son sens accumulé des ressemblances du monde, et c’est la partie dont un modèle élève apprend réellement.