Ein grosses Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz, das darauf trainiert ist, das nächste Token in einer Textfolge vorherzusagen. Bei der Wendung «der Himmel ist» ordnet es dem, was folgen könnte, Wahrscheinlichkeiten zu — «blau» schneidet besser ab als «Dienstag», obwohl technisch beides möglich ist. Tut man das in enormem Massstab, mit Hunderten von Milliarden Parametern, trainiert auf riesigen Mengen geschriebenen Textes, geschieht etwas Unerwartetes: Das Modell entwickelt etwas, das sehr nach Verstehen aussieht. Es kann übersetzen, zusammenfassen, schlussfolgern, Code schreiben und ein zusammenhängendes Gespräch führen — nicht, weil man ihm irgendetwas davon ausdrücklich beigebracht hätte, sondern weil sich all das auf einer gewissen Ebene auf Muster in der Sprache zurückführen lässt.
Das «gross» ist wichtiger, als es scheinen mag. Kleinere Sprachmodelle, die auf dieselbe Weise mit denselben Daten trainiert werden, leisten Bescheidenes. Ab einer gewissen Grösse — niemand weiss genau, wo die Schwelle liegt — tauchen Fähigkeiten auf, auf die nicht direkt hintrainiert wurde. Man spricht manchmal von Emergenz, und sie gehört zu den wirklich überraschenden und noch immer schlecht verstandenen Eigenschaften dieser Systeme. GPT-4, Claude, Gemini und ihre Nachfolger sind allesamt grosse Sprachmodelle. Die Autovervollständigung auf Ihrem Handy ebenfalls, nur sehr, sehr viel kleiner.
Wer versteht, was ein LLM ist, liest Behauptungen über KI anders. Wenn ein Sprachmodell selbstsicher etwas Falsches sagt, ist das keine Fehlfunktion — es tut genau das, wofür es trainiert wurde: plausiblen Text vorhersagen, und plausibler Text ist manchmal falsch. Das Modell hat standardmässig kein Gedächtnis früherer Gespräche, kein Wissen über die Welt nach seinem Trainingsstichtag und keinen Mechanismus, um zu prüfen, ob stimmt, was es sagt. Das sind keine Fehler, die man ausbessern könnte; es sind Eigenschaften der Architektur.
Im öffentlichen Gespräch wird der Begriff locker für fast alles verwendet, was mit KI zu tun hat. Es lohnt sich, die Definition präzise zu halten, denn auf die Präzision kommt es an. Ein grosses Sprachmodell ist eine bestimmte Art von System mit bestimmten Stärken und bestimmten Arten zu versagen. Die Organisationen und Menschen, die am meisten aus diesen Werkzeugen herausholen, sind fast immer diejenigen, die verstehen, was sie tatsächlich sind — und nicht, was sie dem Marketing zufolge sein könnten.
