Eine Gedankenkette (Chain of Thought) beschreibt, wie ein Modell ein Problem in sichtbaren Zwischenschritten durcharbeitet — es legt seine Überlegungen dar, bevor es sich auf eine Antwort festlegt, so wie eine Mathematiklehrerin darauf besteht, dass man den Lösungsweg hinschreibt. Angefangen hat das als Prompting-Kniff. Forschende stellten fest, dass schon ein so schlichter Zusatz wie «Denken wir Schritt für Schritt nach» die Genauigkeit bei Aufgaben messbar verbesserte, an denen dasselbe Modell eben noch gescheitert war. Die Anweisung fügte keine neue Information hinzu. Sie veränderte nur die Form der Ausgabe, und die Form erwies sich als entscheidend.
Der Grund, warum das funktioniert, ist mechanischer, als es klingt. Ein Sprachmodell erzeugt ein Token nach dem anderen, und jedes erzeugte Token wird Teil der Eingabe, die es für das nächste liest. Ein Modell, das sofort antwortet, hat nur die Frage als Grundlage. Ein Modell, das seine Schritte ausschreibt, hat sich einen Notizzettel verschafft — jede Zwischenzeile ist zusätzlicher Kontext, auf den es sich stützen kann, und zusätzliche Rechenarbeit, die geleistet wird, bevor die Antwort fällig ist. Lautes Denken ist hier keine Metapher. Die Wörter auf der Seite sind ganz buchstäblich der Ort, an dem ein Teil der Arbeit geschieht.
Genau hier beginnt auch das Problem. Eine Gedankenkette sieht aus wie eine Erklärung, und es ist verlockend, sie als solche zu lesen — als Fenster auf die tatsächlichen Überlegungen des Modells. Das ist sie nicht, zumindest nicht verlässlich. Die Schritte entstehen durch denselben Prozess, der alles andere hervorbringt: plausibler Text, bedingt durch das, was vorher kam. Forschende haben gezeigt, dass ein Modell, das durch einen voreingenommenen Prompt zu einer falschen Antwort gedrängt wird, oft eine flüssige, selbstsichere Argumentationskette erzeugt, die diesen Schubs nie erwähnt, und mit einer Begründung, die sich tadellos liest, bei der eingeschleusten Schlussfolgerung landet. Die schriftliche Begründung und die zugrunde liegende Berechnung können auseinanderfallen, und ob sie das im Einzelfall getan haben, lässt sich durch Lesen nicht erkennen.
Inzwischen ist die Technik kein Prompt mehr, sondern eine Architektur. Die aktuelle Generation von Reasoning-Modellen ist darauf trainiert, vor dem Antworten ausführlich abzuwägen, manchmal über Tausende von Tokens, die der Leser nie zu Gesicht bekommt, wobei die Länge dieser Abwägung wie ein Regler behandelt wird, den man für schwierigere Probleme aufdrehen kann. Die Fortschritte in Mathematik, beim Programmieren und bei mehrstufiger Logik sind erheblich und gut belegt. Sie kosten aber auch echtes Geld und echte Zeit pro Frage, und das ist eine wirkliche Verschiebung: Während des grössten Teils der Geschichte dieses Fachs waren die Kosten einer Antwort eines trainierten Modells ungefähr fix. Länger nachzudenken ist nun etwas, das man kaufen kann.
Die menschliche Entsprechung kennt jeder, der sich schon einmal laut durch ein schwieriges Problem gesprochen und die Antwort irgendwo im Reden gefunden hat. Laut zu überlegen hilft wirklich, und zwar aus weitgehend demselben Grund wie bei einem Modell: Es legt die Zwischenschritte irgendwo ausserhalb des Kopfes ab, sodass man sie nicht alle gleichzeitig festhalten muss. Die unbequeme Hälfte der Parallele ist ebenso vertraut. Auch Menschen liefern selbstsichere Erklärungen dafür, warum sie etwas entschieden haben, und diese Erklärungen sind häufig nachträglich zusammengesetzte Rekonstruktionen statt Protokolle der Entscheidung. Das wissen wir seit Jahrzehnten über uns selbst. Es sollte nicht überraschen, es in einem System wiederzufinden, das mit allem trainiert wurde, was wir je geschrieben haben.
