Der Gradientenabstieg (Gradient Descent) ist die Methode, mit der sich die meisten Modelle des maschinellen Lernens mit der Zeit verbessern.

Stellen Sie sich vor, Sie stehen mit verbundenen Augen in einer hügeligen Landschaft und wollen den tiefsten Punkt im Tal erreichen. Die ganze Karte können Sie nicht sehen — Sie spüren nur das Gefälle unter Ihren Füssen. Also machen Sie einen kleinen Schritt in die Richtung, die sich am stärksten abschüssig anfühlt, halten inne, prüfen das Gefälle erneut und machen den nächsten Schritt. Das wiederholen Sie, bis sich der Boden flach anfühlt.

Das ist der Gradientenabstieg. Der «Gradient» ist das Gefälle — ein Mass dafür, wie falsch das Modell gerade liegt und in welcher Richtung der Fehler grösser wird. Der «Abstieg» ist der Schritt bergab: Das Modell passt seine internen Zahlen leicht an, um diesen Fehler zu verringern. Tut man das Tausende oder Millionen Male, lernt ein Modell, das anfangs Unsinn produziert, allmählich, etwas Nützliches hervorzubringen.

Die Schrittweite ist entscheidend. Ist sie zu gross, schiesst man über das Tal hinaus und springt hin und her, ohne je zur Ruhe zu kommen. Ist sie zu klein, dauert der Vorgang ewig. Diese Schrittweite heisst Lernrate, und sie gut zu wählen gehört zu den zentralen praktischen Herausforderungen beim Training eines Modells.

Der Gradientenabstieg garantiert nicht, den absolut tiefsten Punkt zu finden — nur einen tiefen Punkt. In komplexen Modellen hat die Landschaft viele Täler, und das Modell kommt womöglich in einem zur Ruhe, das gut genug, aber nicht optimal ist. Man spricht dann von einem lokalen Minimum.