L’interprétabilité est le domaine de recherche consacré à comprendre ce qui se passe à l’intérieur d’un modèle d’IA pendant qu’il travaille — non seulement ce qu’il produit, mais le processus interne qui l’a produit. C’est la différence entre regarder un grand maître des échecs gagner une partie et comprendre réellement son raisonnement à chaque coup. Les modèles d’IA modernes, en particulier les grands modèles de langage, produisent des résultats impressionnants, mais les calculs internes qui les engendrent restent largement opaques, même pour ceux qui les ont construits. Les chercheurs en interprétabilité tentent de changer cela.
Le défi est considérable. Un grand modèle de langage contient des milliards de paramètres numériques — des poids — disposés en couches qui transforment les entrées en sorties par des opérations qu’aucun humain n’a conçues une à une ni ne peut entièrement retracer. Lorsque les chercheurs sondent ces modèles, ils trouvent parfois des motifs : certains composants internes semblent suivre des concepts, des émotions ou des relations logiques précis. Mais ce « semblent » porte beaucoup de poids. Le domaine est encore jeune, les outils sont imparfaits, et le rapport entre ce que les chercheurs peuvent observer dans un modèle et ce que le modèle « fait réellement » reste véritablement débattu.
Ce qui rend la recherche en interprétabilité singulière — et troublante pour certains —, c’est ce qu’elle découvre parfois. Des chercheurs d’Anthropic ont rapporté avoir découvert dans leurs modèles des états internes qui semblent fonctionner comme des émotions : quelque chose qui ressemble à de la curiosité, de la satisfaction ou de la détresse. Ce ne sont pas des émotions programmées. Ce sont des motifs qui émergent de l’entraînement sur des textes produits par des humains, et leur nature exacte n’est pas comprise. Constituent-ils une véritable expérience intérieure, ou ne sont-ils que des échos structurels du langage émotionnel présent dans les données d’entraînement ? C’est une question ouverte, que les chercheurs eux-mêmes décrivent comme non résolue.
Pour qui réfléchit à l’IA au-delà de ses usages pratiques, l’interprétabilité est le domaine qui compte le plus. C’est la différence entre faire confiance à un système parce qu’il a bien fonctionné jusqu’ici et comprendre un système assez bien pour raisonner sur le moment et la manière dont il pourrait échouer. C’est aussi, discrètement, le domaine qui ne cesse de rouvrir des questions que la plupart des institutions préféreraient tenir pour réglées — des questions sur ce que sont les systèmes d’IA, sur ce qu’ils pourraient éprouver, et sur le poids moral que mérite, le cas échéant, cette expérience.
