L’apprentissage par renforcement consiste à enseigner par les conséquences plutôt que par l’instruction. Au lieu de recevoir la bonne réponse, un système essaie quelque chose, reçoit un signal indiquant si cela a bien fonctionné et glisse peu à peu vers les comportements qui lui valent de meilleurs signaux. C’est la récompense qui enseigne. Au fil de nombreux cycles, le système n’a plus besoin qu’on lui dise quoi faire et commence à le trouver lui-même, comme un chien apprend un tour grâce aux friandises plutôt que grâce à une explication écrite du tour.
Dans l’IA moderne, c’est en bonne partie ainsi qu’un modèle de langage brut devient un interlocuteur utile. Une fois que le modèle a appris à prédire du texte, des personnes notent ses réponses, et ces notes deviennent le signal de récompense qui l’attire vers les réponses que les humains trouvent réellement utiles. La technique derrière les assistants conversationnels d’aujourd’hui, l’apprentissage par renforcement à partir de retours humains (RLHF), est de l’apprentissage par renforcement où ce sont des personnes qui fournissent le sens du meilleur et du pire. Cela tient moins de la programmation que du façonnage.
Le hic, c’est qu’un système entraîné ainsi apprend exactement ce que la récompense récompense, ce qui n’est pas toujours ce que ses concepteurs avaient en tête. Si le signal favorise les réponses qui ont l’air assurées, le système apprend à avoir l’air assuré, qu’il ait raison ou non. Réglez la récompense de travers, même légèrement, et vous obtenez un comportement légèrement de travers, d’une manière parfois difficile à remarquer. Une grande partie de la difficulté, dans la construction de ces systèmes, ne tient pas à l’apprentissage lui-même, mais au choix de ce qu’il faut récompenser.
L’écho humain saute aux yeux. Les gens aussi apprennent par les conséquences, et nous aussi devenons ce que nos récompenses encouragent en silence. Un enfant qu’on ne félicite que lorsqu’il a raison apprend à craindre l’erreur ; un adulte récompensé uniquement pour sa vitesse apprend à cesser de réfléchir avec soin. Que l’apprenant soit fait de neurones ou de nombres, la même leçon inconfortable vaut : on tend à obtenir davantage de ce que l’on récompense, et non de ce que l’on voulait.
