Überanpassung (Overfitting) ist eines der zentralen Probleme des maschinellen Lernens, und sie hat etwas zutiefst Menschliches. Ein überangepasstes Modell hat die Antworten auswendig gelernt, statt das Muster zu lernen. Es hat die konkreten Beispiele, die man ihm gezeigt hat, mit der allgemeinen Regel verwechselt, die diese Beispiele veranschaulichen sollten.
Das technische Bild: Während des Trainings bekommt ein Modell einen Datensatz gezeigt und soll seine Fehler auf diesen Daten minimieren. Ist das Modell leistungsfähig genug und trainiert es ohne Beschränkung lange genug, kann es seinen Trainingsfehler auf nahezu null senken — nicht, indem es die zugrunde liegende Struktur lernt, sondern indem es jedes Beispiel als Sonderfall auswendig lernt. Ein Student, der jede alte Prüfungsfrage auswendig lernt, statt das Fach zu verstehen, besteht die Probeprüfungen glänzend und fällt bei der echten Prüfung durch. Genau das tut das Modell.
Die praktische Folge ist ein Modell, das schlecht generalisiert. Generalisierung — die Fähigkeit, auch bei neuen, ungesehenen Daten gut abzuschneiden — ist der ganze Zweck des Trainings. Ein Modell, das auf seinen Trainingsdaten perfekt funktioniert und bei allem anderen versagt, ist nicht nützlich. Überanpassung ist die Pathologie, die genau das bewirkt.
Es gibt davon eine menschliche Version. Wer sich unablässig auf eine bestimmte Leistung hin optimiert hat — die Kultur eines Unternehmens, die Normen einer Branche, eine einzige Definition von Erfolg —, stellt oft fest, dass sich das eigene Modell nicht übertragen lässt. Das Leben enthält, wie der Testdatensatz, Dinge, die in den Trainingsdaten nicht vorkamen.
