La descente de gradient est la méthode qu’emploient la plupart des modèles d’apprentissage automatique pour s’améliorer au fil du temps.

Imaginez-vous les yeux bandés dans un paysage vallonné, avec pour but d’atteindre le point le plus bas de la vallée. Vous ne voyez pas la carte entière — vous sentez seulement la pente sous vos pieds. Alors vous faites un petit pas dans la direction qui semble descendre le plus, vous vous arrêtez, vous tâtez de nouveau la pente, et vous faites un autre pas. Vous recommencez jusqu’à ce que le sol paraisse plat.

C’est cela, la descente de gradient. Le « gradient » est la pente — une mesure de l’erreur actuelle du modèle, et de la direction dans laquelle cette erreur s’aggrave. La « descente » est le pas vers le bas : le modèle ajuste légèrement ses nombres internes pour réduire cette erreur. Répétez l’opération des milliers ou des millions de fois, et un modèle qui commençait par produire des absurdités apprend peu à peu à produire quelque chose d’utile.

La taille du pas compte. Trop grande, et l’on dépasse la vallée, en rebondissant sans jamais se stabiliser. Trop petite, et le processus n’en finit pas. Cette taille de pas s’appelle le taux d’apprentissage, et bien la choisir est l’une des principales difficultés pratiques de l’entraînement d’un modèle.

La descente de gradient ne garantit pas de trouver le point le plus bas de tous — seulement un point bas. Dans les modèles complexes, le paysage compte de nombreuses vallées, et le modèle peut se stabiliser dans l’une d’elles, suffisamment bonne sans être optimale. C’est ce qu’on appelle un minimum local.