Un robot d’exploration IA est un logiciel qu’une entreprise de recherche ou d’IA envoie lire automatiquement les pages web. Il annonce un nom en arrivant — GPTBot appartient à OpenAI, ClaudeBot à Anthropic, PerplexityBot à Perplexity, Google-Extended aux produits d’IA de Google — et il parcourt le web page après page, en stockant ce qu’il trouve pour que le système qui l’a envoyé puisse répondre plus tard à des questions. C’est grâce à lui qu’un assistant peut parler d’un site web à qui que ce soit.
Il vaut la peine de préciser ce qu’un robot d’exploration n’est pas. Ce n’est pas une personne, et il ne navigue pas. Il ne fait pas défiler la page, il n’attend pas les animations, il clique rarement et il ne cherchera pas ce qui est difficile d’accès. Il demande une page, prend le texte qui revient et passe à la suivante. Tout ce qu’un assistant d’IA saura jamais d’un site donné, c’est ce qui a survécu à cette unique lecture sans détour.
On peut éconduire les robots d’exploration, et on le fait généralement par accident. Une ligne dans le fichier robots.txt, une règle de pare-feu, un réglage de sécurité dans une offre d’hébergement, une extension installée pour une tout autre raison — chacun de ces éléments peut refuser la visite. Comme ce refus est silencieux et invisible dans un navigateur ordinaire, un site peut rester des années parfaitement lisible pour tous les êtres humains et entièrement inconnu des machines. Rien d’autre ne compte, pour un site, tant que la visite n’est pas autorisée.
L’autre échec est plus subtil : le robot entre et ne trouve rien qui vaille d’être emporté. Du texte enfermé dans des images ou un PDF, une page qui ne s’assemble qu’après l’exécution de code, une page d’accueil faite d’adjectifs qui ne dit jamais clairement ce que fait l’entreprise ni où elle le fait. La porte était ouverte. Il n’y avait simplement rien de lisible de l’autre côté.
En termes humains, c’est un visiteur qui passe une fois, ne peut pas poser de questions et répète ensuite ce qu’il a réussi à lire. Impossible de lui expliquer, de le corriger ou de le charmer. Une page sans détour, lue en vitesse — et tout ce que l’on entend de seconde main vient de là.
