Gli strumenti di rilevamento dell'IA sono sistemi software progettati per stabilire se un testo sia stato scritto da un essere umano o generato da un modello di IA. L'idea di fondo è intuitiva: se la scrittura dell'IA ha schemi caratteristici (certe scelte lessicali, certe strutture della frase, certi ritmi), allora un classificatore addestrato su abbastanza esempi dovrebbe riuscire a individuarli. Alcuni strumenti funzionano misurando la prevedibilità statistica del testo; altri cercano firme stilistiche. Il presupposto è che il linguaggio generato dall'IA sia, in qualche modo misurabile, diverso da quello prodotto dagli esseri umani.
Il problema è che questo presupposto non regge in modo abbastanza affidabile da poterci basare delle decisioni. I rilevatori di IA producono falsi positivi in misura significativa, segnalando come generata da una macchina una scrittura umana, soprattutto nel caso di chi non è madrelingua inglese, di stili di scrittura molto formali e di testi che usano per caso formulazioni comuni o prevedibili. Producono anche falsi negativi: un testo generato dall'IA che sia stato leggermente rivisto, tradotto o passato attraverso strumenti di parafrasi spesso sfugge al rilevamento. Gli addetti ai lavori concordano in gran parte sul fatto che i rilevatori attuali non vadano usati per formulare giudizi gravi di conseguenze sulla paternità di un testo.
Parte della difficoltà è strutturale. I grandi modelli linguistici sono addestrati a prevedere il token successivo più probabile in un dato contesto, il che equivale a dire che sono addestrati a scrivere in modo che risulti naturale e umano. Man mano che i modelli migliorano, la distanza statistica tra testo umano e testo dell'IA si riduce. Un rilevatore addestrato sugli output di un modello può funzionare male su un modello diverso, o su una versione successiva dello stesso. Il rilevamento, in un certo senso, insegue un bersaglio mobile che diventa più difficile da colpire a mano a mano che la tecnologia avanza.
In pratica, questo significa che un punteggio di rilevamento, sia esso del 20 o dell'80 per cento, dice qualcosa sulla probabilità, non sulla verità. È un indizio da soppesare, non un verdetto da eseguire. La domanda più interessante che il rilevamento dell'IA continua a sollevare non è «l'ha scritto una macchina?», ma «importa, se l'ha fatto?». Quella domanda si rivela molto più difficile, e assai più interessante, della percentuale sullo schermo.
