Un modello non consulta nulla. Produce il token successivo, poi quello dopo ancora, ciascuno la continuazione più plausibile di ciò che è venuto prima; e la plausibilità non è la stessa proprietà della verità, anche se le due viaggiano insieme abbastanza spesso da rendere facile non accorgersi della differenza. Un'allucinazione è ciò che si ottiene quando si separano: una citazione con la forma esatta di una citazione vera, il numero di un articolo di legge nel formato giusto per una legge reale, una frase nel registro giusto per la persona che l'avrebbe pronunciata. La scioltezza non è una maschera posata sopra l'errore. La scioltezza e l'errore nascono dallo stesso processo.
La parola stessa calza male, e conviene maneggiarla con una certa cura. Allucinare presuppone una percezione andata storta sullo sfondo di una percezione che di norma funziona; ma il modello non percepisce nulla, e niente si è guastato. Confabulazione è più vicino al vero: il riempire con sicurezza un vuoto con qualcosa che ha la forma di quel vuoto. Il pericolo pratico ne discende direttamente. Un sistema che fallisse in modo vistoso sarebbe molto più sicuro da usare. Questo fallisce proprio con la voce che usa quando ha ragione, e così l'intero onere di accorgersene ricade su chi legge, che di solito ne sa meno, sulla questione, di quanto sperasse ne sapesse il modello.
Nulla l'ha eliminata, e la posizione onesta è che nulla ci si avvicina. Il recupero di documenti (retrieval) aiuta, perché consegna al modello documenti veri su cui lavorare invece del suo ricordo compresso di aver letto, una volta, qualcosa di simile. L'addestramento con feedback umano può insegnare a un modello a esprimere riserve, il che ne migliora la calibrazione: la corrispondenza tra quanto sembra sicuro e quanto spesso risulta avere ragione. I passaggi di ragionamento intercettano alcuni errori prima che arrivino a Lei. Ma ciascuno di questi abbassa una frequenza anziché chiudere una porta, e ciò che resta è peggiore proprio dove verificare è più difficile: fatti poco noti, numeri specifici, tutto ciò che nessuno si è preso la briga di scrivere due volte.
La traduzione umana è il collega sicuro di sé che di solito ha ragione. Si smette di controllare, perché controllare costa qualcosa e lui si è guadagnato il beneficio del dubbio, e poi un giorno una cosa detta con assoluta certezza risulta essere stata assemblata più che ricordata. Tutti hanno lavorato con una persona così. Quasi tutti noi siamo stati quella persona. La parte scomoda non è mai stata che lo faccia anche la macchina. È quanto della normale sicurezza umana risulti funzionare allo stesso modo.
