Trainingsdaten (mit Rauschen) Angepasstes Modell Wahres Muster
Streudiagramm einer Polynomregression auf Trainingsdaten. Polynome höheren Grades passen sich den Trainingsdaten besser an, verallgemeinern aber schlechter.
Modellkomplexität 3 Polynom 3. Grades
Trainingsfehler —
Testfehler —
Urteil —

Der ideale Punkt ist der Grad, bei dem der Testfehler am tiefsten ist — das Modell, das das Muster gelernt hat, nicht das Rauschen. Darüber verbiegt sich die Kurve, um jeden Trainingspunkt auswendig zu lernen. Darunter ist das Modell zu einfach, um die Form zu erfassen. Diese Spannung heisst Bias-Varianz-Dilemma.