Un modèle ne consulte rien. Il produit le token suivant, puis le suivant, chacun étant la suite la plus plausible de ce qui précède — et la plausibilité n’est pas la même propriété que la vérité, même si les deux vont ensemble assez souvent pour que la différence passe facilement inaperçue. Une hallucination, c’est ce que l’on obtient quand elles se séparent : une référence qui a exactement la forme d’une vraie référence, un numéro d’article de loi au bon format pour une vraie loi, une citation dans le registre de la personne censée l’avoir prononcée. L’aisance n’est pas un masque posé sur l’erreur. L’aisance et l’erreur naissent du même processus.
Le mot lui-même convient mal, et il mérite d’être manié avec précaution. Halluciner suppose une perception qui déraille sur fond de perception qui, d’ordinaire, fonctionne — or le modèle ne perçoit rien, et rien n’est tombé en panne. La confabulation est plus proche : combler avec assurance un vide par quelque chose qui en épouse la forme. Le danger pratique en découle directement. Un système qui échouerait bruyamment serait bien plus sûr à utiliser. Celui-ci échoue précisément de la voix dont il use quand il a raison, ce qui fait reposer toute la charge de la détection sur le lecteur, lequel en sait généralement moins sur la question qu’il n’espérait que le modèle en sache.
Rien ne l’a éliminée, et la position honnête est que rien n’en approche. La recherche documentaire aide, en fournissant au modèle de vrais documents sur lesquels travailler plutôt que son propre souvenir compressé d’avoir un jour lu quelque chose de semblable. L’entraînement sur des retours humains peut apprendre à un modèle à nuancer, ce qui améliore sa calibration — l’accord entre l’assurance qu’il affiche et la fréquence à laquelle il a effectivement raison. Les étapes de raisonnement interceptent certaines erreurs avant qu’elles ne vous parviennent. Mais chacune de ces mesures abaisse un taux plutôt qu’elle ne ferme une porte, et ce qui subsiste est le pire précisément là où la vérification est la plus difficile : faits obscurs, chiffres précis, tout ce que personne n’a pris la peine d’écrire deux fois.
L’équivalent humain, c’est le collègue sûr de lui qui a généralement raison. On cesse de vérifier, parce que vérifier coûte quelque chose et qu’il a mérité le bénéfice du doute, et puis un jour une chose qu’il a dite avec une assurance totale se révèle avoir été assemblée plutôt que remémorée. Tout le monde a travaillé avec cette personne. La plupart d’entre nous avons été cette personne. Le plus inconfortable n’a jamais été que la machine le fasse aussi. C’est de découvrir à quel point l’assurance humaine ordinaire fonctionne de la même manière.
