Le surapprentissage (overfitting) est l’un des problèmes centraux de l’apprentissage automatique, et il a quelque chose de profondément humain. Un modèle en surapprentissage a mémorisé les réponses au lieu d’apprendre le motif. Il a confondu les exemples particuliers qu’on lui a montrés avec la règle générale qu’ils étaient censés illustrer.
Sur le plan technique : pendant l’entraînement, on montre à un modèle un jeu de données et on lui demande de réduire au minimum ses erreurs sur ces données. Si le modèle est assez puissant et s’entraîne assez longtemps sans contrainte, il peut ramener son erreur d’entraînement presque à zéro — non pas en apprenant la structure sous-jacente, mais en mémorisant chaque exemple comme un cas particulier. L’étudiant qui apprend par cœur toutes les questions des examens passés au lieu de comprendre la matière réussira brillamment les examens blancs et échouera à l’examen véritable. Le modèle fait exactement cela.
La conséquence pratique est un modèle qui généralise mal. La généralisation — la capacité de bien se comporter sur des données nouvelles, jamais vues — est toute la raison d’être de l’entraînement d’un modèle. Un modèle qui fonctionne parfaitement sur son jeu d’entraînement et s’effondre sur tout le reste n’est d’aucune utilité. Le surapprentissage est la pathologie qui produit ce résultat.
Il en existe une version humaine. La personne qui s’est optimisée sans relâche pour une performance bien précise — la culture d’une seule entreprise, les normes d’un seul secteur, une seule définition de la réussite — découvre souvent que son modèle ne se transpose pas. La vie, comme le jeu de test, contient des choses que les données d’entraînement n’incluaient pas.
