La calibration, au sens technique, désigne l’accord entre la confiance qu’exprime un modèle et son exactitude réelle. Un modèle parfaitement calibré, lorsqu’il se dit sûr à 80 %, a raison 80 % du temps. Lorsqu’il dit 60 %, il a raison 60 % du temps. L’incertitude qu’il affiche correspond fidèlement à son incertitude réelle.
Dans les systèmes d’IA, une mauvaise calibration penche en général d’un seul côté : l’excès de confiance. Un modèle entraîné à produire un texte fluide et d’allure autoritaire peut attribuer une confiance élevée à des réponses tout simplement fausses — non qu’il trompe qui que ce soit, mais parce qu’aucun mécanisme ne le contraint à distinguer ce qu’il sait de ce qu’il génère de manière plausible. C’est la racine de ce que les chercheurs appellent l’hallucination : une affabulation assurée.
Une bonne calibration est un objectif de conception, non un état par défaut. L’entraînement à partir de retours humains, avec des signaux explicites sur les moments où un modèle devrait nuancer, peut l’améliorer. Des techniques comme le temperature scaling ajustent après l’entraînement les niveaux de confiance qu’affiche un modèle. Mais le problème est réellement difficile, et même des systèmes performants y échouent régulièrement dans les cas limites.
La transposition humaine est directe. La calibration, c’est l’honnêteté épistémique : la capacité de dire « je ne sais pas » sans le vivre comme un échec. Dans bien des cultures professionnelles, exprimer de l’incertitude passe pour une faiblesse. Pourtant, une personne bien calibrée est plus utile qu’une personne assurée qui se trompe souvent. La question « en êtes-vous sûr ? » mérite une réponse honnête. Les modèles — et les personnes — qui en donnent une sont ceux qui méritent la confiance.
