Ein Modell schlägt nichts nach. Es erzeugt das nächste Token, dann das nächste, jedes die plausibelste Fortsetzung dessen, was davor kam — und Plausibilität ist nicht dieselbe Eigenschaft wie Wahrheit, auch wenn beide oft genug zusammen auftreten, dass man den Unterschied leicht übersieht. Eine Halluzination entsteht, wenn sie auseinanderfallen: eine Quellenangabe, die exakt die Form einer echten hat, eine Gesetzesnummer im richtigen Format für ein echtes Gesetz, ein Zitat im passenden Tonfall der Person, die es angeblich gesagt hat. Die Gewandtheit ist keine Maske, die über dem Fehler liegt. Gewandtheit und Fehler entstehen aus demselben Prozess.
Das Wort selbst passt schlecht, und es lohnt sich, es mit etwas Vorsicht zu gebrauchen. Halluzinieren unterstellt eine Wahrnehmung, die fehlgeht, vor dem Hintergrund einer Wahrnehmung, die normalerweise funktioniert — aber das Modell nimmt nichts wahr, und nichts hat versagt. Konfabulation trifft es besser: das selbstsichere Füllen einer Lücke mit etwas, das in die Form der Lücke passt. Die praktische Gefahr folgt unmittelbar daraus. Ein System, das lautstark scheitert, wäre weit sicherer im Gebrauch. Dieses hier scheitert genau in dem Ton, in dem es auch richtigliegt, und das legt die gesamte Last des Erkennens auf den Leser, der über die Frage meist weniger weiss, als er es sich vom Modell erhofft hatte.
Nichts hat sie beseitigt, und ehrlicherweise ist auch nichts nahe daran. Retrieval hilft, indem es dem Modell echte Dokumente als Arbeitsgrundlage gibt statt seiner eigenen komprimierten Erinnerung daran, einmal etwas Ähnliches gelesen zu haben. Training mit menschlichem Feedback kann einem Modell beibringen, sich vorsichtiger auszudrücken, was seine Kalibrierung verbessert — die Übereinstimmung zwischen dem, wie sicher es klingt, und dem, wie oft es tatsächlich richtigliegt. Zwischenschritte des Schlussfolgerns fangen manche Fehler ab, bevor sie Sie erreichen. Doch jede dieser Massnahmen senkt eine Rate, statt eine Tür zu schliessen, und was übrig bleibt, wiegt genau dort am schwersten, wo das Überprüfen am schwersten fällt: bei entlegenen Fakten, bei konkreten Zahlen, bei allem, was sich niemand die Mühe gemacht hat, zweimal aufzuschreiben.
Die menschliche Entsprechung ist der selbstsichere Kollege, der meistens recht hat. Man hört auf, nachzuprüfen, weil Nachprüfen etwas kostet und er sich einen Vertrauensvorschuss verdient hat, und eines Tages stellt sich heraus, dass etwas, das er mit völliger Gewissheit gesagt hat, zusammengesetzt statt erinnert war. Alle haben schon mit diesem Menschen gearbeitet. Die meisten von uns waren schon dieser Mensch. Das Unbequeme war nie, dass die Maschine es auch tut. Es ist die Entdeckung, wie viel gewöhnliche menschliche Selbstsicherheit genau so funktioniert.
