Ein grosses Modell hat etwas gelernt, das sich nicht ohne Weiteres an seinen Gewichten ablesen lässt: nicht nur, welche Antwort richtig ist, sondern auch, wie nahe all die falschen der richtigen kamen. Bitten Sie es, ein Tier zu nennen, und es sagt nicht einfach Hund. Es sagt Hund, mit überwältigender Wahrscheinlichkeit, dazu ein schwacher Rest von Wolf, ein noch schwächerer von Fuchs und praktisch nichts für Teekanne. Dieser Rest ist das angesammelte Gespür des Modells dafür, wie die Dinge der Welt einander ähneln. Destillation heisst das Verfahren, ein kleineres Modell auf diesen vollständigen Verteilungen zu trainieren statt auf den nackten richtigen Antworten — sodass der Schüler das Urteilsvermögen des Lehrers erbt und nicht bloss dessen Schlussfolgerungen.
Der naheliegende Einwand lautet, eine Kopie müsse schlechter sein als das Original. Das ist sie meist auch — aber um weit weniger, als irgendjemand erwartet hatte, und zu einem kleinen Bruchteil der Kosten. Hier beginnt der Ärger. Ein Modell, dessen Training Hunderte Millionen Dollar und ein Rechenzentrum gekostet hat, lässt sich für die meisten Zwecke ausreichend gut nachbilden, und zwar von einem Konkurrenten, der ihm einfach sehr viele Fragen stellt und auf den Antworten trainiert. Dem Verfahren ist es gleichgültig, ob der Lehrer eingewilligt hat. Zudem ist es verlustbehaftet, und zwar auf schwer erkennbare Weise: Der Schüler erbt mit dem Urteilsvermögen auch die blinden Flecken des Lehrers, und er erbt sie losgelöst von den Trainingsdaten, anhand derer man herausfinden könnte, woher sie stammen.
So steht das Verfahren an zwei Orten zugleich. Innerhalb eines Labors ist es alltäglich und nützlich: Man trainiert sorgfältig ein sehr grosses Modell und destilliert es dann zu etwas, das klein genug ist, um auf einem Smartphone zu laufen, günstig genug, um in grossem Massstab bereitgestellt zu werden, und schnell genug, um zu antworten, solange die Lesenden noch bei der Sache sind. Fast jedes Modell, mit dem Sie tatsächlich zu tun haben, ist kleiner als das beste Modell, das sein Hersteller besitzt, und die Destillation ist ein guter Teil des Grundes, weshalb das bezahlbar ist. Ausserhalb des Labors ist sie ein Governance-Problem, das niemand gelöst hat — Nutzungsbedingungen verbieten sie, sie aufzuspüren ist schwierig, und sie vor Gericht zu beweisen, ist noch schwieriger.
Lässt man die Technik beiseite, ist das schlicht eine Lehre, mit derselben alten Asymmetrie. Der Meister hat ein ganzes Berufsleben gebraucht, um sein Können zu erwerben; der Lehrling erwirbt eine brauchbare Fassung davon in wenigen Jahren, ohne je die Fehler gemacht zu haben, aus denen es hervorging. Etwas Echtes geht über. Etwas anderes nicht. Was der Lehrling am Ende besitzt, ist nicht das Wissen des Meisters, sondern eine Verdichtung davon — verlässlich in den gewöhnlichen Fällen, unauffällig unzuverlässig genau an den Rändern, die der Meister auf den ersten Blick erkannt hätte. Seit Jahrhunderten streiten wir darüber, ob das als Diebstahl gilt oder einfach als die Art, wie Wissen schon immer gewandert ist. Die Maschinen haben den Streit nur dringlich gemacht.
