Wenn ein Sprachmodell Ihre Nachricht liest, sieht es keine Buchstaben oder Wörter, wie ein Mensch sie sähe. Es sieht Tokens — kleine Textstücke, die die eigentliche Währungseinheit des Modells sind. «Unglaublich» kann ein Token sein oder drei, je nachdem, wie häufig das Wort in den Trainingsdaten vorkommt. «Der» ist mit ziemlicher Sicherheit eines. Ein Leerzeichen vor einem Wort wird manchmal in dessen Token eingeschlossen, manchmal nicht. Die genaue Zuordnung legt der Tokenizer des Modells fest, eine eigene Komponente, die darauf trainiert ist, jede beliebige Zeichenfolge effizient in solche Einheiten zu zerlegen.
Warum nicht einfach Wörter verwenden? Weil Sprache unordentlicher ist, als Wörterbücher vermuten lassen. Neue Wörter tauchen auf; Namen sind oft neu; Sprachen mischen und vermengen sich. Tokens — im Englischen im Schnitt etwa drei bis vier Zeichen lang — bieten einen praktischen Mittelweg zwischen Buchstaben (zu kleinteilig) und Wörtern (zu starr für Grenzfälle). Mit ihnen kann das Modell jeden Text verarbeiten, auf den es trifft, auch solchen, den es noch nie gesehen hat.
Die Zahl der Tokens in einem Text hat praktische Folgen. Modellanbieter rechnen in der Regel pro Token ab. Kontextfenster — die Textmenge, die ein Modell gleichzeitig im Arbeitsgedächtnis halten kann — werden in Tokens gemessen. Ein typischer Roman umfasst etwa 100'000 bis 120'000 Tokens. Ein langes Gespräch kann ein Kontextfenster schneller füllen als erwartet.
Wer das weiss, kann die Metapher von der Wahrscheinlichkeitswolke genauer fassen. Wenn ein Sprachmodell mit einer Wahrscheinlichkeitsverteilung über mögliche Wörter arbeitet, heisst das genauer gesagt: über mögliche Tokens. Die Wolke klärt sich Token für Token. Jede Wahl formt die Verteilung für die nächste. Der Satz, den Sie gerade lesen, ist aus einer Kette solcher Kollapse hervorgegangen.
