La régularisation est la réponse au surapprentissage, et elle fonctionne en introduisant une pénalité ou une contrainte qui dissuade le modèle de trop se spécialiser. En pratique, on ajoute à l’objectif d’entraînement un terme qui augmente dès que les paramètres internes du modèle deviennent très grands ou très complexes — ce qui revient à dire au modèle : vous pouvez réduire votre erreur sur ces données d’entraînement, mais pas en mémorisant chacune de leurs bizarreries.
Il existe plusieurs approches. La régularisation L2 (aussi appelée décroissance des poids, weight decay) pénalise directement les valeurs élevées des paramètres, poussant le modèle vers des solutions plus simples. Le dropout désactive des neurones au hasard pendant l’entraînement, ce qui oblige le réseau à développer des représentations redondantes qui ne dépendent d’aucun chemin unique. L’augmentation de données élargit artificiellement le jeu d’entraînement, de sorte que le modèle rencontre davantage de variation.
Elles partagent une même logique : introduire une friction délibérée contre l’excès de précision. Il en sort un modèle qui tient légèrement ses représentations apprises — qui a extrait le motif et non le bruit, et peut donc bien se comporter sur des données qu’il n’a jamais vues. C’est le but de tout entraînement : non pas mémoriser, mais généraliser.
Le registre philosophique est ici difficile à ignorer. Toutes les traditions qui parlent de lâcher prise — le non-attachement bouddhiste, le détachement stoïcien, le wu wei taoïste — décrivent une forme de régularisation pour l’esprit humain. Agrippez-vous à des résultats précis et vous tombez dans le surapprentissage. Tenez les choses légèrement, et vous généralisez.
