Ein KI-Crawler ist eine Software, die ein Such- oder KI-Unternehmen ausschickt, um Webseiten automatisch zu lesen. Er nennt bei seiner Ankunft einen Namen — GPTBot gehört zu OpenAI, ClaudeBot zu Anthropic, PerplexityBot zu Perplexity, Google-Extended zu Googles KI-Produkten — und arbeitet sich Seite für Seite durch das Web, wobei er speichert, was er findet, damit das System hinter ihm später Fragen beantworten kann. Er ist der Grund, weshalb ein KI-Assistent überhaupt irgendjemandem etwas über eine Website erzählen kann.
Es lohnt sich, genau zu sagen, was ein Crawler nicht ist. Er ist kein Mensch, und er surft nicht. Er scrollt nicht, er wartet nicht auf Animationen, er klickt selten, und er sucht nicht nach etwas, das schwer zu erreichen ist. Er fordert eine Seite an, nimmt den Text, der zurückkommt, und zieht weiter. Alles, was ein KI-Assistent je über eine bestimmte Website wissen wird, ist das, was diese eine schlichte Lektüre überstanden hat.
Crawler lassen sich abweisen, und meist geschieht das aus Versehen. Eine Zeile in der robots.txt, eine Firewall-Regel, eine Sicherheitseinstellung im Hosting-Paket, ein Plugin, das aus einem ganz anderen Grund installiert wurde — jedes davon kann den Besuch verweigern. Weil die Abweisung lautlos geschieht und in einem gewöhnlichen Browser unsichtbar bleibt, kann eine Website jahrelang für jeden Menschen tadellos lesbar und für die Maschinen völlig unbekannt sein. Nichts anderes an einer Website zählt, solange der Besuch nicht erlaubt ist.
Das andere Versagen ist subtiler: Der Crawler wird eingelassen und findet nichts, was sich mitzunehmen lohnt. Text, der in Bildern oder einem PDF eingeschlossen ist, eine Seite, die sich erst zusammensetzt, nachdem Code gelaufen ist, eine Startseite voller Adjektive, die nie schlicht sagt, was das Unternehmen tut oder wo es das tut. Die Tür stand offen. Auf der anderen Seite gab es einfach nichts Lesbares.
Ins Menschliche übersetzt ist das ein Besucher, der ein einziges Mal vorbeikommt, keine Fragen stellen kann und danach wiedergibt, was er zu lesen vermochte. Man kann ihm nichts erklären, ihn nicht berichtigen, ihn nicht für sich einnehmen. Eine schlichte Seite, rasch gelesen — und alles, was irgendjemand aus zweiter Hand erfährt, stammt von dort.
