KI-Crawler Logfile-Analyse: Bots in Server-Logs finden

Für eine Logfile-Analyse laden Sie die Zugriffslogs Ihres Servers herunter, filtern nach den User-Agents der KI-Bots und zählen Abrufe pro Bot, Pfad und Statuscode. So sehen Sie, ob GPTBot, ClaudeBot oder PerplexityBot tatsächlich kommen und ob sie Fehlerseiten erhalten. JavaScript-Analytics zeigen das nicht.

Warum die Logs die einzige ehrliche Quelle sind

Ihre robots.txt zeigt Absichten, Ihr Analytics-Tool zeigt Menschen. Was Bots wirklich tun, steht nur im Server-Log. BusinessMCP erklärt im Leitfaden zum serverseitigen Tracking von KI-Crawlern, dass Script-Tracker Bots nicht erfassen, die rohes HTML abrufen und kein JavaScript ausführen, und nennt GPTBot, ClaudeBot, CCBot, Meta-ExternalAgent und Amazonbot als Beispiele. Wer also nur Analytics auswertet, sieht diese Seite des Traffics gar nicht.

Schritt für Schritt

1. Logs beschaffen. Laden Sie Zugriffslogs mehrerer Tage herunter, besser zwei Wochen. Komprimierte Dateien (.gz) entpacken Sie vorher.
2. Format erkennen. Üblich ist das Combined Log Format mit IP, Zeit, Anfrage, Statuscode, Referrer und User-Agent.
3. Nach Bot-Namen filtern. Zum Beispiel mit grep -i "GPTBot\|ClaudeBot\|PerplexityBot\|OAI-SearchBot" access.log.
4. Zählen. Abrufe pro Bot und Tag, dazu die häufigsten Pfade.
5. Statuscodes lesen. Wie viele 200, wie viele 403, 404, 5xx?
6. Ergebnisse notieren. Datum, Zeitraum, Zahlen.

Die Namen der Bots entnehmen Sie den Betreiberseiten, etwa der Crawler-Übersicht von OpenAI und der Seite von Perplexity zu seinen Crawlern. Einzelne unbekannte Strings ordnen Sie mit dem KI-Crawler-Identifier von BusinessMCP ein. Laut Seite läuft er im Browser und weist auf die Grenzen der Selbstauskunft hin.

Was die Zahlen bedeuten

Beobachtung	Mögliche Deutung	Nächster Schritt
Bot erscheint, viele 200	Zugang funktioniert	Inhalte prüfen
Bot erscheint, viele 403	Firewall oder Regel weist ihn ab	Siehe WAF und CDN
Bot erscheint nie	Gesperrt, nicht aufgefunden oder noch nicht gekommen	robots.txt und Sitemap prüfen
Nur robots.txt-Abrufe	Bot prüft Regeln, ruft aber nichts ab	Regeln kontrollieren
Viele Abrufe, einzelne Pfade	Bot folgt Links oder Sitemap	Struktur prüfen

Zählen Sie nicht zu früh: Nach einer Änderung brauchen Crawler Zeit, bis sie neue Regeln berücksichtigen. Betrachten Sie deshalb Zeiträume von mehreren Wochen.

Key takeaway: Ein Bot in den Logs mit Statuscode 200 ist der einzige harte Beleg, dass er Ihre Seite wirklich lesen konnte.

Spoofing und Verifikation

Der User-Agent ist ein Textfeld, das jeder Client frei setzen kann. Deshalb sind User-Agents nur ein Richtwert. BusinessMCP verweist darauf, dass Betreiber wie OpenAI und Perplexity IP-Bereiche veröffentlichen, mit denen Sie prüfen können, ob ein Abruf wirklich vom Betreiber kommt. Gehen Sie so vor: Stichprobe der Abrufe mit Bot-Namen ziehen, IP-Adressen mit den veröffentlichten Bereichen abgleichen, Abweichungen notieren. Für die laufende Auswertung genügt in der Regel der User-Agent, für Sperrentscheidungen sollten Sie die IP prüfen.

Ein einfaches Rechenbeispiel

Angenommen, Sie finden in 14 Tagen 420 Abrufe von GPTBot, davon 400 mit Status 200 und 20 mit 404. Das heißt: Der Zugang funktioniert, und 20 Anfragen gingen an Adressen, die es nicht mehr gibt. Das ist ein Hinweis auf alte Links, etwa in Sitemaps. Die Zahlen sind erfunden und dienen nur dem Rechenweg: Immer Zugang, dann Fehlerquote, dann Ursachen.

Dauerhafte Messung statt Einmalaktion

Eine einmalige Auswertung zeigt einen Zustand, keine Entwicklung. Für die Dauer gibt es zwei Wege: Log-Auswertung per Skript oder Tabelle, etwa wöchentlich, oder ein serverseitiger Hook. Der Leitfaden von BusinessMCP beschreibt letzteren als Middleware, die den User-Agent per Mustervergleich prüft und bei Treffern Agent und Pfad asynchron an einen Endpunkt meldet, damit Seitenaufrufe nicht verlangsamt werden. Er nennt Beispiele für Next.js, Express und Cloudflare Workers. Ob Sie das einsetzen oder eine eigene Lösung bauen, hängt von Ihrer Technik ab. Wichtig ist, Bot-Treffer getrennt von Besuchern zu speichern, damit Besucherzahlen nicht verfälscht werden.

Datenschutz im Blick behalten

Logs enthalten IP-Adressen und damit personenbezogene Daten. Klären Sie Aufbewahrungsfristen und Zweck mit Ihrer Datenschutzberatung und werten Sie für die Bot-Analyse nur das aus, was Sie brauchen. Das ist ein Hinweis, keine Rechtsberatung.

Was Sie mit den Ergebnissen tun

Wenn Bots kommen und 200 erhalten, ist der Zugang in Ordnung, und die Frage verschiebt sich zur Sichtbarkeit in Antworten: Dazu der Beitrag KI-Sichtbarkeit analysieren. Wenn sie gar nicht kommen, prüfen Sie zuerst die robots.txt für KI-Crawler. Eine schnelle Gegenprobe liefert der AI Crawler Checker, der laut Anbieter die Freigaben Ihrer robots.txt je Bot anzeigt. Zusammen ergeben beide Sichten ein vollständigeres Bild: Der Check zeigt, was erlaubt ist, die Logs zeigen, was passiert.

Praxisbeispiel für eine einfache Tabelle

Wer ohne Spezialtool starten will, baut sich eine Tabelle mit den Spalten Datum, Bot, Anzahl Abrufe, davon Status 200, davon 4xx und 5xx, häufigster Pfad. Die Werte holen Sie mit einem Filter auf den User-Agent und zählen sie je Tag. Nach zwei Wochen sehen Sie Muster: Kommt ein Bot täglich oder in Wellen? Beginnt er mit der robots.txt und der Sitemap? Fragt er nach Seiten, die es nicht mehr gibt? Für wenige tausend Zeilen genügt eine Tabellenkalkulation, bei größeren Mengen helfen Kommandozeilenwerkzeuge oder ein Log-Analyseprogramm.

Fallstricke beim Auswerten

• Zeitzonen. Logs laufen oft in UTC. Vergleichen Sie nicht mit lokalen Zeiten, ohne umzurechnen.
• Caching und CDN. Wenn ein CDN Antworten ausliefert, sieht Ihr Ursprungsserver nur einen Teil der Abrufe. Werten Sie die CDN-Logs mit aus.
• Rotierende Logs. Alte Dateien werden gelöscht oder gepackt. Sichern Sie Ausschnitte, bevor Sie Änderungen testen.
• Gleiche IP, viele Bots. Nicht jede Adresse gehört einem einzigen Dienst. Verlassen Sie sich nicht auf die IP allein.
• Kleine Zahlen. Wenige Abrufe sagen wenig. Vergleichen Sie Zeiträume, nicht einzelne Tage.

Mit diesen Vorsichtsmaßnahmen ist die Logfile-Analyse die zuverlässigste Quelle, die Sie ohne Zusatzkosten haben. Sie ersetzt keine Messung der Nennungen in Antworten, aber sie zeigt, ob die Voraussetzungen stimmen.

Auswertungsrhythmus im Betrieb

Für die meisten Seiten genügt eine Auswertung pro Monat, nach Relaunches oder Änderungen an robots.txt und Firewall zusätzlich zwei und vier Wochen später. Halten Sie jeweils dieselben Kennzahlen fest, damit Zeitreihen entstehen: Abrufe je Bot, Anteil erfolgreicher Antworten, häufigste Fehlerpfade. Wenn ein Bot plötzlich verschwindet oder sprunghaft zunimmt, lohnt ein Blick in die Dokumentation des Betreibers und in Ihre Änderungshistorie. Oft liegt die Ursache bei einer eigenen Änderung, seltener beim Betreiber.