Il sovradattamento (overfitting) è uno dei problemi centrali dell'apprendimento automatico, e ha qualcosa di profondamente umano. Un modello sovradattato ha memorizzato le risposte invece di apprendere lo schema. Ha scambiato gli esempi specifici che gli sono stati mostrati per la regola generale che quegli esempi dovevano illustrare.
Il quadro tecnico: durante l'addestramento, a un modello viene mostrato un insieme di dati e gli si chiede di ridurre al minimo i propri errori su quei dati. Se il modello è abbastanza potente e si addestra abbastanza a lungo senza vincoli, può portare il proprio errore di addestramento quasi a zero, non apprendendo la struttura sottostante ma memorizzando ogni esempio come un caso a sé. Uno studente che impara a memoria tutte le domande degli esami passati invece di capire la materia supererà a pieni voti le prove di esercitazione e verrà bocciato all'esame vero. Il modello fa esattamente questo.
La conseguenza pratica è un modello che generalizza male. La generalizzazione, cioè la capacità di funzionare bene su dati nuovi e mai visti, è l'intero scopo dell'addestramento di un modello. Un modello che funziona perfettamente sul proprio insieme di addestramento e crolla su tutto il resto non serve. Il sovradattamento è la patologia che produce questo esito.
Ne esiste una versione in termini umani. Chi si è ottimizzato senza sosta per una prestazione particolare (la cultura di un'azienda, le norme di un settore, una sola definizione di successo) scopre spesso che il proprio modello non si trasferisce altrove. La vita, come l'insieme di prova, contiene cose che i dati di addestramento non includevano.
