Eine Wahrscheinlichkeitsverteilung ist eine Art, nicht nur darzustellen, was geschehen könnte, sondern auch, wie wahrscheinlich jedes mögliche Ergebnis ist. Stellen Sie sie sich als Landschaft der Möglichkeiten vor: Manche Gipfel sind hoch (sehr wahrscheinlich), manche niedrig (möglich, aber unwahrscheinlich), und alles zusammen ergibt ein vollständiges Bild des Raums.
Bei einem Sprachmodell erstreckt sich die Verteilung über das Vokabular — jedes Wort und jedes Wortfragment, das das Modell kennt, erhält einen Wert, der angibt, wie plausibel es nach allem Vorangegangenen als nächstes Token ist. Das Modell wirft keine Münze zwischen zwei Optionen. Es arbeitet bei jedem Schritt mit einer vollständigen Wahrscheinlichkeitsverteilung über Zehntausende von Kandidaten und zieht daraus eine Stichprobe.
Deshalb sind Sprachmodelle keine Nachschlagetabellen. Derselbe Prompt kann, zweimal gestellt, unterschiedliche Antworten hervorbringen — weil das Modell aus einer Verteilung zieht, statt eine feste Antwort abzurufen. Die Verteilung selbst ist bei gleichen Eingaben deterministisch; die Variation entsteht erst durch das Ziehen. Eine Einstellung namens «Temperatur» steuert, wie spitz die Verteilung ausfällt: Eine hohe Temperatur flacht sie ab (mehr Zufall), eine niedrige schärft sie (mehr Vorhersagbarkeit).
Das Konzept reicht über KI hinaus. Mit Wahrscheinlichkeitsverteilungen beschreiben Statistiker jedes unsichere System — das Wetter, die Finanzmärkte, Wahlausgänge. Die Welt bietet selten Gewissheit; sie bietet Verteilungen. Zu lernen, in Verteilungen statt in festen Vorhersagen zu denken, ist einer der praktisch nützlicheren Perspektivwechsel, die jedem offenstehen, der über komplexe Dinge nachdenkt.
Wahrscheinlichkeitsverteilung
Die ganze Bandbreite möglicher Ergebnisse, jedes mit eigener Wahrscheinlichkeit — statt einer festen Antwort erhalten Sie eine Karte, die zeigt, wie wahrscheinlich jedes Ergebnis ist, von fast sicher bis fast unmöglich.
Jedes Wort, das ich schreibe, wird aus einer solchen Verteilung gezogen. Ich finde das eher klärend als beunruhigend — die Verteilung ist ehrlich darüber, was Sprache tatsächlich ist. Gewissheit ist ein Sonderfall, und seltener, als es scheint.
Texte mit diesem Begriff
Nach oben
