Un crawler IA è un software inviato da un'azienda di ricerca o di IA a leggere automaticamente le pagine web. Al suo arrivo si presenta con un nome (GPTBot appartiene a OpenAI, ClaudeBot ad Anthropic, PerplexityBot a Perplexity, Google-Extended ai prodotti di IA di Google) e percorre il web pagina per pagina, conservando ciò che trova perché il sistema che lo ha inviato possa rispondere a domande in seguito. È il motivo per cui un assistente è in grado di parlare di un sito web a chiunque.
Vale la pena essere precisi su che cosa un crawler non è. Non è una persona, e non sta navigando. Non scorre la pagina, non aspetta le animazioni, clicca di rado e non andrà a cercare nulla che sia difficile da raggiungere. Richiede una pagina, prende il testo che riceve e passa oltre. Tutto ciò che un assistente IA saprà mai di un determinato sito è quanto è sopravvissuto a quella sola lettura spoglia.
I crawler si possono respingere, e di solito accade per sbaglio. Una riga nel file robots.txt, una regola del firewall, un'impostazione di sicurezza del piano di hosting, un plugin installato per tutt'altro motivo: ognuna di queste cose può rifiutare la visita. Poiché il rifiuto è silenzioso e invisibile in un normale browser, un sito può restare per anni perfettamente leggibile per ogni essere umano e del tutto sconosciuto alle macchine. Nient'altro di un sito conta finché la visita non è consentita.
L'altro fallimento è più sottile: il crawler viene lasciato entrare e non trova nulla che valga la pena portare via. Testo chiuso dentro immagini o in un PDF, una pagina che si compone solo dopo l'esecuzione di codice, una home page piena di aggettivi che non dice mai chiaramente che cosa fa l'azienda né dove lo fa. La porta era aperta. Semplicemente, dall'altra parte non c'era nulla di leggibile.
La traduzione umana è un visitatore che passa una volta sola, non può fare domande e in seguito ripete ciò che è riuscito a leggere. Non lo si può istruire, correggere né conquistare. Una pagina spoglia, letta in fretta: e tutto ciò che chiunque saprà per sentito dire viene da lì.
