Training heisst, lesen zu lernen. Inferenz heisst, einen Satz zu lesen. Das Erste hat Jahre gedauert und Sie dauerhaft verändert; das Zweite dauert einen Moment und verändert an Ihnen überhaupt nichts. Technisch gesehen ist Inferenz (Inference) ein einzelner Vorwärtsdurchlauf: Ihre Wörter werden in Tokens zerlegt, diese Tokens fliessen einmal durch die festen Parameter des Modells, und auf der anderen Seite kommt eine Wahrscheinlichkeitsverteilung darüber heraus, was als Nächstes folgen sollte. Ein Token wird ausgewählt, ans Ende angehängt, und die ganze Reise beginnt wieder von vorn. Ein Modell, das einen Absatz von hundert Wörtern schreibt, hat diese Reise hundertmal gemacht.
Die Folge, die am meisten überrascht: Jeder Durchlauf ist gedächtnislos. Das Modell erinnert sich nicht an Ihre letzte Nachricht, nicht einmal an den letzten Satz, den es selbst geschrieben hat, es sei denn, dieser Text wird ihm als Teil der Eingabe erneut übergeben — genau das ist ein Kontextfenster, und deshalb hat es eine Grenze, und deshalb wird ein langes Gespräch mit jedem Wortwechsel teurer statt billiger. Was sich anfühlt, als erinnere sich ein Modell an Sie, ist ein Modell, das Sie noch einmal liest. Es ist eine einigermassen ehrliche Illusion, aber es lohnt sich zu wissen, was von beidem Sie vor sich haben.
Inferenz ist einmal billig und in der Summe ruinös. Ein Trainingslauf ist eine einzige Rechnung, wie hoch sie auch ausfällt. Inferenz ist eine Rechnung, die jedes Mal eintrifft, wenn irgendjemand irgendetwas fragt, für immer, und sie wächst mit dem Erfolg, statt zu schrumpfen. Nach den meisten Schätzungen hat die Rechenleistung, die heute für den Betrieb von Modellen aufgewendet wird, jene für ihren Bau überholt — eine Umkehr, die sich still vollzog und sich beschleunigte, als Reasoning-Modelle pro Antwort weit mehr Rechenleistung zu verbrauchen begannen als die Generation vor ihnen. Deshalb fliesst so viel technischer Aufwand in das Ziel, eine einzelne Antwort billiger zu machen: grosse Modelle in kleine zu destillieren, zwischenzuspeichern, was sich zwischenspeichern lässt, die Zahlen mit geringerer Präzision abzulegen. Ein Bruchteil eines Cents, multipliziert mit ein paar Milliarden, ist eine ernsthafte Zahl.
Die menschliche Entsprechung ist der Arbeitstag. Die Ausbildung ist teuer, endlich und liegt hinter Ihnen; die Arbeit ist pro Stunde billig, hört nicht auf und ist der Ort, an dem sich der Wert tatsächlich zeigt — für Sie und für alle, die Sie bezahlen. Wir haben ein Jahrzehnt lang fasziniert verfolgt, wie diese Systeme gebaut werden. Die Rechnung und die meisten Folgen fallen auf der anderen Seite an.
