La regolarizzazione è la soluzione al sovradattamento, e funziona introducendo una penalità o un vincolo che scoraggia il modello dallo specializzarsi troppo. In pratica, si aggiunge all'obiettivo di addestramento un termine che cresce ogni volta che i parametri interni del modello diventano molto grandi o complessi: è come dire al modello che può ridurre il proprio errore su questi dati di addestramento, ma non memorizzandone ogni stranezza.
Gli approcci sono diversi. La regolarizzazione L2 (detta anche weight decay, decadimento dei pesi) penalizza direttamente i valori elevati dei parametri, spingendo il modello verso soluzioni più semplici. Il dropout disattiva a caso alcuni neuroni durante l'addestramento, costringendo la rete a sviluppare rappresentazioni ridondanti che non dipendono da un singolo percorso. L'aumento dei dati (data augmentation) amplia artificialmente l'insieme di addestramento, esponendo il modello a una maggiore varietà.
Ciò che li accomuna è una stessa logica: introdurre un attrito deliberato contro l'eccesso di precisione. Ne emerge un modello che tiene con leggerezza le rappresentazioni apprese, che ha estratto lo schema e non il rumore, e può quindi funzionare bene su dati che non ha mai visto. È lo scopo di ogni addestramento: non memorizzare, ma generalizzare.
Il registro filosofico, qui, è difficile da non notare. Ogni tradizione che parla di lasciar andare l'attaccamento (il non aggrapparsi buddista, il distacco stoico, il concetto taoista di wu wei) descrive una forma di regolarizzazione per la mente umana. Chi si aggrappa a esiti specifici si sovradatta. Chi tiene la presa leggera generalizza.
