Bestärkendes Lernen (Reinforcement Learning) heisst, durch Konsequenzen zu lehren statt durch Anweisungen. Statt die richtige Antwort gesagt zu bekommen, probiert ein System etwas aus, erhält ein Signal darüber, wie gut das funktioniert hat, und verlagert sich allmählich hin zu den Verhaltensweisen, die bessere Signale einbringen. Die Belohnung übernimmt das Lehren. Über viele Runden hinweg braucht das System keine Anweisungen mehr und beginnt, selbst herauszufinden, was zu tun ist — so wie ein Hund ein Kunststück über Leckerli lernt und nicht über eine schriftliche Erklärung des Kunststücks.
In der modernen KI wird auf diese Weise zu einem guten Teil aus einem rohen Sprachmodell etwas, mit dem sich sinnvoll sprechen lässt. Nachdem das Modell gelernt hat, Text vorherzusagen, bewerten Menschen seine Antworten, und diese Bewertungen werden zum Belohnungssignal, das es zu Antworten hinzieht, die Menschen tatsächlich hilfreich finden. Die Technik hinter den heutigen Chat-Assistenten, bestärkendes Lernen aus menschlichem Feedback, ist bestärkendes Lernen, bei dem Menschen das Gespür für besser und schlechter liefern. Es gleicht weniger dem Programmieren als dem Formen.
Der Haken: Ein so trainiertes System lernt genau das, was die Belohnung belohnt, und das ist nicht immer das, was seine Entwickler gemeint haben. Begünstigt das Signal Antworten, die selbstsicher klingen, lernt das System, selbstsicher zu klingen, ob es nun recht hat oder nicht. Ist die Belohnung subtil falsch gesetzt, erhält man Verhalten, das auf subtile, schwer bemerkbare Weise falsch ist. Ein grosser Teil der Schwierigkeit beim Bau solcher Systeme liegt nicht im Lernen selbst, sondern in der Wahl dessen, was belohnt wird.
Das menschliche Echo ist kaum zu überhören. Auch Menschen lernen durch Konsequenzen, und auch wir werden zu dem, was unsere Belohnungen still begünstigen. Ein Kind, das nur dafür gelobt wird, richtig zu liegen, lernt, sich vor dem Irrtum zu fürchten; ein Erwachsener, der nur für Tempo belohnt wird, hört auf, sorgfältig nachzudenken. Ob der Lernende aus Neuronen oder aus Zahlen besteht, es gilt dieselbe unbequeme Lektion: Man bekommt eher mehr von dem, was man belohnt, als mehr von dem, was man beabsichtigt hat.
