Skalierungsgesetze sind das Nächste, was die KI-Forschung an einer Ingenieurskurve besitzt. Trägt man den Fehler eines Modells gegen den Rechenaufwand auf, der in sein Training geflossen ist, mit logarithmischen Achsen auf beiden Seiten, ergibt sich keine Punktwolke — sondern nahezu eine Gerade. Der Fehler sinkt als Potenz der eingesetzten Ressourcen: mehr Rechenaufwand, mehr Daten, mehr Parameter, und das Modell wird vorhersagbar besser. Das Wort «Gesetz» leistet hier etwas zu viel. Es handelt sich um empirische Regelmässigkeiten, beobachtet über viele Trainingsläufe hinweg, nicht um Physik. Aber sie haben über mehrere Grössenordnungen gehalten, und das ist mehr, als die meisten Dinge in der Software von sich behaupten können.
Beim Nacherzählen gehen zwei Dinge verloren. Erstens: Eine Linie, die auf einer logarithmischen Achse sanft aussieht, ist auf einer linearen brutal — jede weitere Qualitätsstufe kostet ein Mehrfaches der vorigen, und so sind die Trainingsbudgets an der Spitze von Millionen auf Hunderte von Millionen gestiegen und steigen weiter. Zweitens sagt ein Skalierungsgesetz den Verlust voraus — wie gut das Modell das nächste Token vorhersagt — und nicht das, was eigentlich alle interessiert. Fähigkeiten treffen ungleichmässig ein, scheinen manchmal sprunghaft aufzutauchen, und eine vollkommen glatte Verlustkurve kann einer sehr holprigen Kurve dessen zugrunde liegen, was das Modell kann.
Wirklich nützlich sind Skalierungsgesetze, weil sie einem Labor erlauben, Geld gezielt auszugeben. Bevor man sich auf einen Trainingslauf festlegt, der sich nicht rückgängig machen lässt, passt man die Kurve an kleinen Modellen an und extrapoliert: Dieses Budget, so zwischen Daten und Parametern aufgeteilt, sollte ungefähr hier landen. Die folgenreichste Erkenntnis war, dass das Feld seine Modelle zu gross gebaut und mit zu wenig gefüttert hatte — dass bei festem Budget ein kleineres Modell, trainiert mit weit mehr Daten, besser abschneidet. Fast alles, was seither gebaut wurde, ist von dieser Rechnung geprägt. Die Gesetze ziehen auch die Grenzen: Wenn die Qualität mit den Daten skaliert und die guten Daten zur Neige gehen, stösst die Kurve irgendwann auf ein Problem, das sich mit Geld nicht lösen lässt.
Ins Menschliche übersetzt ist das eine Prognose, nach der man handeln kann, in die man sich aber nicht verlieben sollte. Skalierungsgesetze sind der Grund, warum sich die letzten Jahre für die Leute mittendrin unausweichlich anfühlten: Die Kurve hielt immer weiter, also war das nächste Ergebnis nie ganz eine Überraschung. Sie sind auch der Grund, warum so viele selbstsichere Vorhersagen, die Sie lesen, von Rechenaufwand handeln statt von Folgen. Eine Linie, die ein Jahrzehnt lang gehalten hat, ist ein wirklich guter Beleg. Sie ist kein Versprechen, und sie hat noch nie jemandem gesagt, was das Modell am Ende tatsächlich können würde.
