KI-Crawler & Crawlbarkeit

Bevor ein KI-Assistent eine Marke nennen kann, muss sein Crawler die Website überhaupt lesen dürfen. CrunchJunkie gibt dir dafür zwei Werkzeuge, die sich ergänzen — unter KI-Sichtbarkeit → ein Kunde → Gruppe „Agent analytics“: • Crawlbarkeit — prüft die robots.txt einer Website und zeigt, welche KI-Crawler (GPTBot, ClaudeBot, Google-Extended, PerplexityBot und rund 20 weitere) erlaubt, teilweise blockiert oder komplett blockiert sind. Das ist der schnellste Weg, das klassische Eigentor zu entdecken: versehentlich genau die Bots zu blockieren, die KI-Antworten speisen. • Crawl-Insights — zeigt, welche KI-Bots die Website tatsächlich besucht haben, wie oft und welche Seiten sie abgerufen haben, indem es deine Server- oder CDN-Zugriffslogs liest. Crawlbarkeit sagt dir, was erlaubt ist; Crawl-Insights sagt dir, was wirklich passiert.

Für die Crawlbarkeit brauchst du nichts weiter als die Adresse der Website. 1. Stelle sicher, dass beim Kunden eine Website hinterlegt ist: Kunden → Kunden öffnen → Website-URL setzen (z. B. example.com). Damit wird das Analysefeld vorausgefüllt. 2. Öffne KI-Sichtbarkeit → den Kunden → Crawlbarkeit. 3. Die Domain ist vorausgefüllt (oder gib eine beliebige Domain ein). Klicke auf „Analysieren“. CrunchJunkie ruft die robots.txt der Domain ab und zeigt eine Tabelle bekannter KI-Bots mit einem Status — Erlaubt, Teilweise oder Blockiert — und für jeden Bot, warum er so eingestuft ist und wie du es änderst. Jede Prüfung wird im Verlauf gespeichert, du kannst sie später also erneut ausführen und genau sehen, was sich seit der letzten Prüfung geändert hat. Keine Einrichtung, keine Tags — es wird direkt die öffentliche robots.txt gelesen.

Crawl-Insights braucht deine Server-/CDN-Zugriffslogs, denn nur dort werden Besuche von KI-Bots festgehalten. 1. Öffne KI-Sichtbarkeit → den Kunden → Crawl-Insights. Beim ersten Besuch siehst du eine eigene Ingest-URL (…/api/crawl-logs/<key>) und einen Upload-Button. 2. Bring die Daten hinein, auf einem von zwei Wegen: • Einmalig: Lade einen Zugriffslog-Export von deinem Server oder CDN herunter (Nginx/Apache im Combined-Format oder einen Cloudflare-/Vercel-Log-Export als .log/.csv) und lade die Datei auf der Seite hoch. • Fortlaufend: Richte einen Log-Drain (Cloudflare Logpush, einen Vercel Log Drain oder einen Nginx-/Apache-Forwarder) auf die Ingest-URL aus, damit neue Treffer automatisch einlaufen. 3. CrunchJunkie parst die Zeilen, behält nur die Treffer von KI-Bots (alles andere wird verworfen) und baut daraus das Dashboard: Besuche gesamt, aktive Bots, Aufschlüsselungen nach Plattform / Bot / Zweck (Training, Suche, Nutzeranfrage), meistgecrawlte Seiten, HTTP-Statuscodes und einen Besuchsverlauf über 7/14/30/90 Tage. Gespeichert werden ausschließlich User-Agents von KI-Bots — normaler Besucher-Traffic aus den Logs wird verworfen, es entstehen also keine personenbezogenen Besucherdaten, die du verwalten müsstest.

Crawl-Daten sind nicht nur für deine eigene Diagnose da — sie wandern direkt in einen Kundenbericht. Füge ein Tabellen-Widget ein, wähle die Quelle KI-Sichtbarkeit und setze die Dimension auf „Crawler visits“. Du bekommst eine Zeile pro KI-Crawler, der im Zeitraum des Berichts tatsächlich Seiten der Website angefordert hat — GPTBot, PerplexityBot, ClaudeBot und die übrigen —, verteilt auf fünf Spalten: Bot, Plattform, Typ (Training, Suche oder Nutzeranfrage), Besuche und Anteil, also der prozentuale Anteil dieses Bots an allen Bot-Besuchen der Periode. Es lohnt sich, einem Kunden zu erklären, was diese Tabelle von allem anderen unterscheidet. Jede andere Zahl zur KI-Sichtbarkeit ist eine gesampelte Schätzung: Wir fragen die Modelle viele Male und zählen, was zurückkommt — das ist die ehrliche Art, etwas Nicht-Deterministisches zu messen, aber es bleibt eine Stichprobe mit Fehlerbereich. Diese hier nicht. Jeder Besuch ist eine Zeile in einem Server-Log, die festhält, dass ein namentlich genannter Bot zu einem bestimmten Zeitpunkt eine URL abgerufen hat. Das ist ein harter Fakt und der stärkste Beleg, den du einem Kunden dafür vorlegen kannst, dass KI-Systeme seine Website lesen. Eine Voraussetzung musst du dabei sauber erfüllen. Die Tabelle hat nur dann Daten, wenn für das Projekt die Aufnahme der Crawl-Logs eingerichtet ist (siehe „Crawl-Insights einrichten“ oben). Ohne sie bleibt das Widget schlicht leer — und leer heißt „noch nicht angebunden“, nicht „kein KI-Crawler interessiert sich für diese Website“. Richte den Ingest ein, bevor die Tabelle auch nur in die Nähe eines Kundenberichts kommt, sonst erzählt sie genau die falsche Geschichte.

Zeigt die Crawlbarkeit, dass ein KI-Bot, den du willst, Blockiert oder Teilweise ist, passe die robots.txt der Website an (der Hinweis „So änderst du es“ in jeder Zeile nennt dir die genaue Direktive), deploye und klicke erneut auf „Analysieren“, um die Änderung zu bestätigen — der Verlauf hält die Verbesserung fest. Zeigen die Crawl-Insights, dass ein Bot viele 404er kassiert oder deine wichtigsten Seiten nie erreicht, ist das ein Signal, interne Verlinkung, Sitemaps oder Serverfehler zu beheben, damit der Crawler die Inhalte auch wirklich indexieren kann, die in KI-Antworten auftauchen sollen.