Stellen Sie sich ein Instrument mit einer Milliarde Stimmwirbeln vor. Nach Gehör, Wirbel für Wirbel, lässt es sich nicht stimmen — so viele Leben hat niemand. Also spielen Sie stattdessen einen Ton, messen, wie weit er danebenlag, und drehen jeden einzelnen Wirbel um den Bruchteil einer Umdrehung in die Richtung, die ihn ein wenig weniger falsch gemacht hätte. Dann tun Sie es noch einmal. Und noch einmal, ein paar Billionen Mal. Das ist Training. Der gespielte Ton ist eine Vermutung über das nächste Wort in einem Text; das Mass der Abweichung nennen Ingenieure den Verlust (Loss); das gleichzeitige Nachdrehen aller Wirbel ist der Gradientenabstieg.
Das Wort Training richtet einigen Schaden an, denn es bringt einen Lehrer und einen Schüler mit, und es gibt keines von beiden. Niemand wählt die Lektionen aus oder erklärt den Stoff. Das Modell nimmt die statistischen Regelmässigkeiten dessen auf, was ihm gezeigt wurde — die Gedankengänge und die gute Prosa, aber auch die Fehler, die Auslassungen und die Annahmen, die im Ausgangstext niemand laut auszusprechen dachte. Es kann auswendig lernen, wo es hätte generalisieren sollen, und dieses Versagen heisst Überanpassung (Overfitting). Und Training hat eine harte Grenze: Es endet. Das Modell wird zu einem bestimmten Datum eingefroren und lernt nichts von der Person, die es benutzt. Einen Chatbot zu korrigieren, bringt ihm nichts bei. Die Korrektur hält so lange wie das Gespräch und keine Sekunde länger.
Das macht das Training zu einer ungewöhnlich unnachsichtigen Art von Ingenieurarbeit. Der Aufwand liegt ganz am Anfang, er ist gewaltig, und er ist praktisch unumkehrbar: monatelange Berechnungen auf Zehntausenden spezialisierter Chips, zu Kosten, die inzwischen in die Hunderte Millionen gehen. Fast jede Entscheidung — welche Daten, welche Grösse, welches Ziel — fällt, bevor der Durchlauf beginnt, und ob man richtig lag, erfährt man am Ende. Die späteren Phasen sind günstiger und enger gefasst. Die Feinabstimmung (Fine-Tuning) lenkt ein bereits trainiertes Modell auf einen bestimmten Einsatz hin; bestärkendes Lernen aus menschlichem Feedback formt, wie es sich verhält, nicht, was es weiss. Doch das meiste dessen, was ein Modell ist, wurde in jenem ersten langen Durchlauf festgelegt, und es lässt sich hinterher nicht neu verhandeln.
Ins Menschliche übersetzt ist es alles, was Sie wussten, bevor Sie den Raum betraten. Ihre Ausbildung dauerte Jahre, kostete viel, stützte sich auf Material, das Sie nicht ausgewählt haben, und lässt sich nicht wiederholen — und nichts davon ist das, was irgendjemand tatsächlich sieht. Was man sieht, ist das, was Sie im Raum tun, und das ist etwas ganz anderes: das, was die Branche Inferenz nennt. Beim Training werden die Rekorde aufgestellt und die Schlagzeilen geschrieben. Dort geschieht nicht der grösste Teil der Arbeit.
