KI-Crawler: Welche Bots Ihre Website lesen und wozu

Ein KI-Crawler ist ein automatisches Programm, das Webseiten abruft, damit ein KI-System sie nutzen kann: für das Training eines Modells, für einen Suchindex oder um eine Seite live zu lesen, während jemand eine Frage stellt. Bekannte Beispiele sind GPTBot von OpenAI, ClaudeBot von Anthropic und PerplexityBot. Sie unterscheiden sich vor allem im Zweck.

Drei Arten von KI-Bots, die Sie auseinanderhalten sollten

Der häufigste Denkfehler lautet: “KI-Crawler sind alle dasselbe.” Tatsächlich haben die großen Anbieter ihre Bots in der Dokumentation nach Aufgaben getrennt. Die Crawler-Übersicht von OpenAI beschreibt zum Beispiel getrennte Bots für Training, Suche und nutzerausgelöste Abrufe. Perplexity dokumentiert ebenfalls mehr als einen Bot. Für Ihre Entscheidungen zählt deshalb nicht der Firmenname, sondern die Rolle:

Rolle	Was der Bot tut	Folge einer Sperre
Training	Sammelt Inhalte für künftige Modelle	Ihre Texte fließen (laut Betreiber) nicht in neues Training ein
Suchindex	Baut einen durchsuchbaren Index für Antwortmaschinen	Sie können dort seltener als Quelle auftauchen
Nutzerabruf	Liest eine Seite, wenn jemand sie in einem Chat anfordert	Der Assistent kann Ihre Seite auf Anfrage nicht lesen

Die Details je Anbieter ändern sich. Prüfen Sie die Namen und Zwecke deshalb immer in der aktuellen Dokumentation, bevor Sie Regeln schreiben. Den Unterschied bei OpenAI vertieft der Beitrag zu OAI-SearchBot und ChatGPT-User.

Woran Sie einen KI-Crawler erkennen

Jeder Abruf trägt einen User-Agent-String, der den Bot benennt. In Ihren Server-Logs sehen Sie ihn neben Zeit, Pfad und Statuscode. Wer nur einzelne Strings einordnen will, kann sie in den kostenlosen KI-Crawler-Identifier von BusinessMCP einfügen. Laut Seite läuft das im Browser, nennt Bot, Betreiber und Zweck und gibt die passende robots.txt-Zeile aus. Die Seite weist selbst darauf hin, dass User-Agents selbst gemeldet werden, die Zuordnung also nur ein erster Schritt ist und keine Verifikation.

Echte Verifikation läuft über veröffentlichte IP-Bereiche, sofern der Betreiber sie bereitstellt. Für eine Webanalyse im Alltag reicht der User-Agent als Richtwert. Wie Sie das systematisch in Logdateien auswerten, steht im Beitrag zur Logfile-Analyse für KI-Crawler.

Key takeaway: Behandeln Sie KI-Crawler nicht als eine Gruppe. Entscheiden Sie pro Rolle (Training, Suche, Nutzerabruf), ob der Zugriff zu Ihrem Geschäftsmodell passt.

Warum JavaScript-Analytics sie nicht zeigt

Wer Besucherzahlen nur mit einem JavaScript-Tracker misst, sieht KI-Crawler fast nie. BusinessMCP beschreibt im Leitfaden zum serverseitigen Tracking von KI-Crawlern, dass viele dieser Bots rohes HTML abrufen und kein Skript ausführen. Ein Tracker im Browser ist dafür strukturell blind. Gleichzeitig bedeutet das für Ihre Seite: Inhalte, die erst nach dem Laden per JavaScript entstehen, können für solche Bots unsichtbar sein. Ein einfacher Test ist, die Seite im Browser mit deaktiviertem JavaScript zu öffnen. Fehlt dort der Haupttext, fehlt er wahrscheinlich auch für den Bot.

Was robots.txt leistet und was nicht

Die robots.txt ist im Robots Exclusion Protocol (RFC 9309) beschrieben. Das Dokument legt ausdrücklich fest, dass die Regeln keine Zugriffskontrolle sind, sondern von kooperierenden Crawlern befolgt werden. Seriöse Betreiber halten sich daran, andere Bots nicht. Für verbindliche Sperren brauchen Sie serverseitige Regeln.

Eine Datei kann so aussehen:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Das sperrt nur GPTBot und lässt alle anderen zu. Welche Konsequenzen das hat, erklärt der Beitrag, ob Sie GPTBot blockieren sollten. Eine vollständige Vorlage mit den gängigen Bots zeigt der Artikel zur robots.txt für KI-Crawler.

So prüfen Sie Ihre Seite in fünf Minuten

1. Öffnen Sie ihre-domain.de/robots.txt im Browser und speichern Sie den Stand.
2. Suchen Sie nach User-agent: * mit Disallow: /. Das sperrt alles, auch KI-Bots.
3. Lassen Sie die Datei vom AI Crawler Checker auswerten. Er zeigt laut Anbieter, welche KI-Crawler Ihre robots.txt zulässt und ob Sie eine llms.txt veröffentlichen.
4. Notieren Sie, welche Bots Sie bewusst zulassen wollen und warum.
5. Prüfen Sie nach Änderungen erneut. Betreiber lesen die Datei nicht sofort neu ein, OpenAI nennt für Anpassungen in der Doku einen Zeitraum von rund einem Tag. Details bitte dort nachlesen.

Grenzen der Prüfung

Ein Crawler-Check zeigt, was die robots.txt erlaubt, nicht was ein Bot tatsächlich tut und auch nicht, ob Ihre Marke in KI-Antworten erscheint. Wer das messen will, braucht wiederholte Testfragen an die Engines, wie sie das KI-Sichtbarkeits-Tracking von BusinessMCP laut Anbieter wöchentlich durchführt. Wie Sie das Thema insgesamt angehen, beschreibt der Beitrag zur KI-Sichtbarkeit analysieren. Für Betriebe in der Region gibt es zusätzlich einen lokalen Blick auf KI-Sichtbarkeit in Mannheim.

Zum Schluss ein Hinweis zur Einordnung: Zugriffsregeln sind eine Voraussetzung, kein Erfolgsversprechen. Eine offene robots.txt macht eine schwache Seite nicht zitierfähig, aber eine gesperrte macht auch die beste Seite unsichtbar. Beginnen Sie deshalb dort, wo der Aufwand am kleinsten und der mögliche Schaden am größten ist.

Beispiele aus dem Alltag einer Mittelstandsseite

Stellen Sie sich einen Maschinenbauer aus der Metropolregion vor, dessen Website vor drei Jahren relauncht wurde. Die Agentur hat damals eine Sicherheitsvorlage eingebaut, die unbekannte Bots pauschal abweist. Der Vertrieb wundert sich heute, dass Anfragen über Chat-Assistenten ausbleiben. Das ist ein konstruiertes Beispiel, aber es beschreibt ein reales Muster: Der Fehler liegt selten im Inhalt, sondern in einer Regel, die niemand mehr kennt.

Drei Szenarien lassen sich grob unterscheiden:

• Die Seite sperrt alles. Eine Sternregel mit Disallow: / oder eine Firewall-Regel wirft jeden Bot hinaus. Lösung: Regeln gezielt lockern, Bots einzeln entscheiden.
• Die Seite sperrt einzelne Bots aus Versehen. Ein SEO-Plugin hat eine Liste “unerwünschter Bots” mitgebracht, auf der auch Such-Bots stehen. Lösung: Liste lesen und mit der Dokumentation der Betreiber abgleichen.
• Die Seite ist offen, aber unlesbar. Inhalte erscheinen erst nach JavaScript, Texte stecken in Bildern oder hinter Cookie-Bannern, die den Abruf blockieren. Lösung: Haupttext im ausgelieferten HTML bereitstellen.

Gerade der dritte Fall wird oft übersehen, weil die Zugriffsprüfung grün aussieht. Deshalb gehört zum Crawler-Check immer ein Blick auf das, was ein Bot tatsächlich sieht: der Quelltext, den der Server ausliefert, nicht das, was der Browser nach dem Rendern zeigt.

Was Sie dokumentieren sollten

Halten Sie nach der Prüfung vier Dinge fest: das Datum, den Stand der robots.txt, die Liste der erlaubten und gesperrten Bots sowie den Grund jeder Sperre. In einem halben Jahr, wenn niemand mehr weiß, warum ein Bot draußen ist, spart diese Notiz eine Stunde Detektivarbeit. Wer mehrere Standorte oder Marken betreut, legt dafür eine einfache Tabelle an und prüft quartalsweise.

Wie oft prüfen?

Mindestens nach jedem Relaunch, jedem Wechsel von Hoster, CDN oder Sicherheits-Plugin und etwa einmal im Quartal. Der Grund: Betreiber führen neue Bots ein, und Plugins aktualisieren ihre Sperrlisten automatisch. Eine Regel, die im Januar harmlos war, kann im Oktober Wirkung haben.

Ein Wort zur Erwartung

Offener Zugang ist keine Garantie für Nennungen. KI-Systeme zitieren, was sie für belastbar halten, und das hängt von Inhalt, Quellenlage und Klarheit der Aussagen ab. Der Leitfaden von BusinessMCP zur Entity-SEO behandelt die inhaltliche Seite, also wie Marken, Orte und Leistungen eindeutig beschrieben werden. Für den Einstieg reicht es, den Zugang sauber zu haben und dann Schritt für Schritt Inhalte zu verbessern, wie es der Beitrag Website für KI-Suche vorbereiten vorschlägt.