La discesa del gradiente è il metodo che la maggior parte dei modelli di apprendimento automatico usa per migliorare nel tempo.

Immagini di avere gli occhi bendati in un paesaggio collinare e di dover raggiungere il punto più basso della valle. Non può vedere l'intera mappa: può soltanto sentire la pendenza sotto i piedi. Allora fa un piccolo passo nella direzione che sembra scendere di più, si ferma, controlla di nuovo la pendenza e fa un altro passo. E così via, finché il terreno non sembra piano.

Questa è la discesa del gradiente. Il «gradiente» è la pendenza: una misura di quanto il modello sbaglia in questo momento e di quale sia la direzione in cui l'errore peggiora. La «discesa» è il passo verso valle: il modello regola di poco i suoi numeri interni per ridurre quell'errore. Lo si ripete migliaia o milioni di volte, e un modello che all'inizio produce assurdità impara gradualmente a produrre qualcosa di utile.

La lunghezza del passo conta. Troppo lungo, e si scavalca la valle, rimbalzando qua e là senza mai fermarsi. Troppo corto, e il processo non finisce più. Questa lunghezza del passo si chiama tasso di apprendimento (learning rate), e sceglierla bene è una delle sfide pratiche centrali dell'addestramento di un modello.

La discesa del gradiente non garantisce di trovare il punto più basso in assoluto, solo un punto basso. Nei modelli complessi il paesaggio ha molte valli, e il modello può fermarsi in una che è abbastanza buona anziché ottimale. Questo si chiama minimo locale.