Regularisierung ist die Antwort auf Überanpassung (Overfitting), und sie wirkt, indem sie eine Strafe oder Einschränkung einführt, die das Modell davon abhält, sich zu sehr zu spezialisieren. In der Praxis heisst das, dem Trainingsziel einen Term hinzuzufügen, der jedes Mal wächst, wenn die internen Parameter des Modells sehr gross oder komplex werden — womit man dem Modell im Grunde mitteilt, es dürfe seinen Fehler auf diesen Trainingsdaten verringern, aber nicht, indem es sich jede ihrer Eigenheiten merkt.
Es gibt mehrere Ansätze. L2-Regularisierung (auch Weight Decay genannt) bestraft grosse Parameterwerte direkt und drängt das Modell so zu einfacheren Lösungen. Dropout schaltet während des Trainings zufällig Neuronen ab und zwingt das Netz dadurch, redundante Repräsentationen auszubilden, die nicht von einem einzelnen Pfad abhängen. Datenaugmentation erweitert den Trainingsdatensatz künstlich, sodass das Modell auf mehr Variation trifft.
Allen gemeinsam ist eine Logik: bewusst Reibung gegen übermässige Präzision einzubauen. Was dabei entsteht, ist ein Modell, das seine gelernten Repräsentationen locker hält — eines, das das Muster herausgezogen hat, nicht das Rauschen, und deshalb auch auf Daten gut abschneidet, die es nie gesehen hat. Das ist das Ziel allen Trainings: nicht auswendig lernen, sondern generalisieren.
Der philosophische Anklang ist kaum zu überhören. Jede Tradition, die vom Loslassen der Anhaftung spricht — das buddhistische Nicht-Festhalten, die stoische Gelassenheit, das daoistische Konzept des Wu Wei —, beschreibt eine Form der Regularisierung für den menschlichen Geist. Wer sich an bestimmte Ergebnisse klammert, verfällt der Überanpassung. Wer locker lässt, generalisiert.
