L'apprendimento per rinforzo insegna attraverso le conseguenze anziché attraverso le istruzioni. Invece di ricevere la risposta giusta, un sistema prova qualcosa, riceve un segnale su quanto abbia funzionato e si sposta gradualmente verso i comportamenti che ottengono segnali migliori. È la ricompensa a insegnare. Dopo molti cicli, il sistema non ha più bisogno che gli si dica che cosa fare e comincia a capirlo da sé, come un cane impara un esercizio grazie ai premi e non da una spiegazione scritta dell'esercizio.
Nell'IA moderna, è in buona parte così che un modello linguistico grezzo viene trasformato in qualcosa con cui sia utile parlare. Dopo che il modello ha imparato a prevedere il testo, alcune persone valutano le sue risposte, e quelle valutazioni diventano il segnale di ricompensa che lo spinge verso le risposte che gli esseri umani trovano davvero utili. La tecnica alla base degli assistenti conversazionali di oggi, l'apprendimento per rinforzo da feedback umano, è apprendimento per rinforzo in cui sono le persone a fornire il senso del meglio e del peggio. Somiglia meno alla programmazione e più a un modellare.
Il problema è che un sistema addestrato così impara esattamente ciò che la ricompensa premia, che non sempre coincide con ciò che intendevano i suoi progettisti. Se il segnale favorisce le risposte che suonano sicure, il sistema impara a sembrare sicuro, che abbia ragione o no. Si sbagli di poco la ricompensa e si otterrà un comportamento sbagliato di poco, in modi che possono essere difficili da notare. Gran parte della difficoltà nel costruire questi sistemi non sta nell'apprendimento in sé, ma nello scegliere che cosa premiare.
L'eco umana è difficile da non notare. Anche le persone imparano attraverso le conseguenze, e anche noi diventiamo ciò che le nostre ricompense incoraggiano in silenzio. Un bambino lodato soltanto quando ha ragione impara a temere di sbagliare; un adulto premiato soltanto per la velocità smette di pensare con cura. Che chi impara sia fatto di neuroni o di numeri, vale la stessa scomoda lezione: si tende a ottenere di più ciò che si premia, non di più ciò che si intendeva.
