Das Vortraining (Pre-Training) ist der lange, ungelenkte erste Akt — das P in GPT. Einem Modell wird eine enorme Menge Text vorgelegt: ein nennenswerter Teil des geschriebenen Internets, dazu Bücher, Code und Transkripte. Es bekommt eine einzige, fast absurd einfache Aufgabe. Anhand von allem Bisherigen vorhersagen, was als Nächstes kommt. Keine Labels, keine Lektionen, niemand, der die Arbeit korrigiert. Das gleicht eher einer Lehre durch Eintauchen als einem Kurs: Niemand erklärt das Handwerk, man verbringt einfach Jahre in der Werkstatt, bis einem die Muster in den Händen liegen. Das «Vor» bedeutet: vor allem Spezifischen — bevor das Modell auf einen Zweck, eine Aufgabe oder ein Publikum ausgerichtet wurde.
Weil niemand dieses Eintauchen kuratiert, eignet sich das Modell an, was immer der Korpus enthält: das sorgfältige und das schlampige Denken, den Konsens und das Vorurteil, die gut belegte Behauptung und den selbstsicheren Unsinn, der auf derselben Seite gleich daneben steht. Ein Gespür dafür, was was ist, eignet es sich nicht an. Ein Modell, das frisch aus einem Vortrainingslauf kommt, ist kein hilfreicher Assistent — es ist etwas Seltsameres und erheblich weniger Nützliches, eine Maschine, die einen Satz in jedem Register fortsetzt, in dem er begonnen wurde, auch in Registern, die niemand wollte. Alles, was ein Modell geduldig, zurückhaltend oder sicher wirken lässt, kam erst danach hinzu, in weit günstigeren Phasen.
Hier fliesst fast das ganze Geld hin, und diese Phase lässt sich nicht beiläufig wiederholen. Sie läuft monatelang auf Zehntausenden von Chips und verbraucht beinahe allen Text, den irgendjemand zusammentragen konnte — was selbst zur Beschränkung wird, denn der Vorrat an hochwertigen menschlichen Texten ist endlich und weitgehend schon aufgebraucht. Die Entscheidungen, auf die es ankommt, fallen alle, bevor sie beginnt: wie viele Daten, wie gross das Modell, wie ein festes Rechenbudget zwischen beidem aufgeteilt wird. Diese Aufteilung richtig zu treffen, ist keine Raterei. Genau dafür gibt es die Skalierungsgesetze.
Die menschliche Entsprechung ist jener Teil Ihrer Bildung, den niemand geplant hat. Nicht der Lehrplan — sondern das, was Sie ohnehin gelesen haben, die Diskussionen, die Sie mitgehört haben, die Jahre, in denen Sie aufgesogen haben, wie die Leute in Ihrem Fach reden, bevor Sie selbst etwas zu sagen hatten. Er ist unscheinbar, weitgehend unsichtbar und im Nachhinein nicht zu rekonstruieren. Und er ist, für ein Modell wie für einen Menschen, der Ort, aus dem fast alles stammt.
