Was die richtige Antwort sagt Was das Lehrermodell sagt
Erfährt ein Modell nur die richtige Antwort, lernt es, dass auf dem Bild ein Hund ist, und sonst nichts. Erfährt es, was das Lehrermodell tatsächlich dachte — Hund 78 %, Wolf 12 %, Fuchs 6 %, Katze 3 %, Teekanne 0.4 % —, lernt es auch, dass ein Wolf fast ein Hund ist und eine Teekanne ihm in nichts gleicht. Diese zusätzliche Form ist es, was Destillation weitergibt.

Beide Säulen beschreiben dasselbe Foto. Die richtige Antwort ist eine einzelne Spitze: wahr, aber fast leer. Die Antwort des Lehrers hat eine Form — der Rest auf Wolf, Fuchs und Katze ist sein angesammeltes Gespür dafür, wie die Welt sich selbst ähnelt, und genau daraus lernt ein Schülermodell.