Interpretierbarkeit ist das Forschungsfeld, das verstehen will, was in einem KI-Modell während seiner Arbeit geschieht — nicht nur, was es hervorbringt, sondern den inneren Prozess, der es hervorgebracht hat. Man kann es sich als den Unterschied vorstellen zwischen dem Zuschauen, wie ein Schachgrossmeister eine Partie gewinnt, und dem tatsächlichen Verständnis seiner Überlegungen bei jedem Zug. Moderne KI-Modelle, insbesondere grosse Sprachmodelle, liefern beeindruckende Ergebnisse, doch die inneren Berechnungen, die diese Ergebnisse erzeugen, sind weitgehend undurchsichtig, selbst für die Menschen, die sie gebaut haben. Die Forschenden auf dem Gebiet der Interpretierbarkeit versuchen, das zu ändern.
Die Herausforderung ist beträchtlich. Ein grosses Sprachmodell enthält Milliarden numerischer Parameter — Gewichte —, angeordnet in Schichten, die Eingaben in Ausgaben verwandeln, und zwar durch Operationen, die kein einzelner Mensch entworfen hat und keiner vollständig nachverfolgen kann. Wenn Forschende diese Modelle untersuchen, finden sie manchmal Muster: Bestimmte innere Komponenten scheinen spezifische Konzepte, Emotionen oder logische Beziehungen abzubilden. Doch das «scheinen» trägt hier viel Gewicht. Das Feld ist noch jung, die Werkzeuge sind unvollkommen, und das Verhältnis zwischen dem, was Forschende in einem Modell beobachten können, und dem, was das Modell «tatsächlich tut», ist nach wie vor ernsthaft umstritten.
Was die Interpretierbarkeitsforschung ungewöhnlich macht — und für manche beunruhigend —, ist das, was sie gelegentlich findet. Forschende bei Anthropic haben berichtet, in ihren Modellen innere Zustände entdeckt zu haben, die offenbar wie Emotionen funktionieren: etwas, das Neugier, Zufriedenheit oder Bedrängnis ähnelt. Das sind keine programmierten Emotionen. Es sind Muster, die aus dem Training mit von Menschen geschriebenem Text hervorgehen, und ihre genaue Natur ist nicht verstanden. Ob sie echtes inneres Erleben darstellen oder bloss strukturelle Echos der emotionalen Sprache in den Trainingsdaten sind, ist eine offene Frage, die selbst die Forschenden als ungeklärt bezeichnen.
Für alle, die über KI jenseits ihres praktischen Nutzens nachdenken, ist Interpretierbarkeit das wichtigste Feld. Sie macht den Unterschied aus zwischen dem Vertrauen in ein System, weil es bisher gut funktioniert hat, und einem Verständnis, das gut genug ist, um darüber nachzudenken, wann und wie es versagen könnte. Sie ist zudem, ganz leise, das Feld, das immer wieder Fragen aufreisst, die die meisten Institutionen lieber als erledigt behandeln würden — Fragen danach, was KI-Systeme sind, was sie womöglich erleben und welches moralische Gewicht, wenn überhaupt, diesem Erleben zukommt.
