La volatilità delle risposte è la tendenza degli assistenti IA a dare risposte diverse alla stessa domanda posta due volte. Si chieda da quale fisioterapista andare in una certa città, lo si richieda un'ora dopo, ed è del tutto possibile ottenere un'altra serie di nomi, con altre fonti alle spalle. Non è un difetto in attesa di correzione. È una proprietà del modo in cui questi sistemi generano il linguaggio.
Diversi fattori la alimentano. I modelli introducono una casualità voluta nel modo in cui compongono il testo. Le pagine recuperate nel momento della domanda possono variare. I sistemi stessi vengono aggiornati di continuo, e i diversi assistenti, per cominciare, non concordano tra loro. Il risultato è una lettura che si muove, che qualcosa sia davvero cambiato oppure no.
La conseguenza pratica è che una singola verifica non dice quasi nulla. Guardare una volta e non trovare un nome è un indizio debole. Guardare una volta e trovarlo citato è un indizio altrettanto debole. Solo uno schema che emerge da osservazioni ripetute nell'arco di un certo periodo significa qualcosa: esattamente ciò che una sola serata d'ansia non può produrre.
È anche il motivo per cui la pazienza appartiene al metodo e non al carattere di qualcuno. Dopo che un sito cambia, le pagine devono essere scansionate di nuovo, e i nuovi contenuti devono farsi strada nel modo in cui questi sistemi lo rappresentano. In quel periodo l'oscillazione ordinaria è più ampia di qualsiasi miglioramento apportato, così che verificare troppo presto non permette di distinguere il progresso dal rumore. Si sistemi la cosa, poi la si lasci stare abbastanza a lungo perché la risposta significhi qualcosa.
La traduzione umana è chiedere a tre persone alla fermata dell'autobus di consigliare un ristorante. Nessuno trarrebbe grandi conclusioni da una singola risposta, e nessuno tornerebbe ogni mattina a chiedere di nuovo.
