Die Angebotsseite der KI-Sichtbarkeit: So liest du deine KI-Crawl-Logs

Ein KI-Sichtbarkeits-Score beantwortet eine Frage: Wie oft nennt uns ChatGPT? Er ist das Ergebnis eines Sampling-Prozesses — wir fragen die Engines viele Male und zählen — und er ist echt nützlich. Aber er ist ein nachlaufendes Ergebnis. Ist die Zahl niedrig, kann der Score selbst dir nicht sagen, ob das Modell deine Seite nie gesehen hat, sie gesehen, aber nichts Zitierwürdiges gefunden hat, oder stattdessen die Seite eines Wettbewerbers gesehen hat. Das Crawl-Log ist die Angebotsseite. Es liest deine Server- oder CDN-Zugriffslogs, behält nur die Treffer bekannter KI-Crawler — GPTBot, PerplexityBot, ClaudeBot und die übrigen — und zeigt, wie oft jedes KI-System dich abgerufen hat, welche Seiten und mit welchem HTTP-Status. Es ist keine Stichprobe und keine Schätzung: Jede Zeile ist eine echte Anfrage, die ein namentlich genannter Bot zu einem echten Zeitpunkt gestellt hat, und wo ein Anbieter seine offiziellen Crawler-IP-Bereiche veröffentlicht, wird jeder Treffer dagegen verifiziert — bei diesem Projekt zu 100 % verifiziert —, sodass ein gefälschter User-Agent die Zahl nicht aufblähen kann. Das macht es zum stärksten Beleg, den du einem Kunden dafür vorlegen kannst, dass KI-Systeme seine Website lesen — und zur ersten Anlaufstelle, wenn der Sichtbarkeits-Score enttäuscht. Die Faustregel: Der Score sagt dir das Ergebnis; das Crawl-Log sagt dir, ob die Voraussetzung dafür überhaupt erfüllt ist. Ein Modell kann keine Seite zitieren, die es nie erfolgreich abgerufen hat.

Nicht jeder KI-Abruf bedeutet dasselbe, und die Aufteilung zwischen zwei Arten ist die einzelne nützlichste Zahl auf der Seite. OpenAI dokumentiert drei getrennte Crawler, und die Unterscheidung ist das ganze Spiel (OpenAI, "Überblick über OpenAIs Crawler"). GPTBot sammelt Inhalte, um künftige Modelle zu trainieren. OAI-SearchBot baut OpenAIs Suchindex auf. ChatGPT-User ist anders: Er wird ausgelöst, wenn eine echte Person ChatGPT etwas fragt und der Assistent deine Seite live abruft, um zu antworten — und laut OpenAIs eigener Dokumentation einen Link zur Quelle in seine Antwort aufnimmt. Jeder ist eine eigene robots.txt-Einstellung; du kannst einen erlauben und einen anderen verweigern. Gruppiert man sie, entstehen zwei Töpfe. Suche- und Training-Crawler bauen über die Zeit ein Bild deiner Website auf — passiv, langsam, notwendig, aber nicht dringend. Nutzeranfrage-Abrufe sind der Frühindikator, der wirklich zählt: Ein Mensch hat eine Frage gestellt, und eine Engine ist genau dann auf deine Seite gegangen, um sie zu beantworten. Das ist der Abruf, der am ehesten in einer Zitierung endet. Bei pmax.online über 14 Tage waren 82,4 % der KI-Abrufe (89 von 108) Suche und Training und nur 12,0 % (13) Nutzeranfragen. Dieses Verhältnis gilt es zu verschieben, und es liest sich in zwei Richtungen. Steigen deine Nutzeranfrage-Abrufe, während die Sichtbarkeit flach bleibt, hast du ein Content-Problem — Engines kommen, um echte Fragen zu beantworten, und finden nichts zum Zitieren. Liegen die Nutzeranfragen nahe null, hast du ein Discovery-Problem — Engines erreichen dich im Moment der Frage gar nicht. Dreizehn Live-Abrufe in zwei Wochen sind ein großer Teil davon, warum unsere eigene Sichtbarkeit dort liegt, wo sie liegt.

Das nächste Panel teilt die Abrufe nach Anbieter auf, und die Form ist fast immer schief. Bei pmax.online: OpenAI 72,2 %, ByteDance 9,3 %, Anthropic 7,4 %, Google 5,6 %, Amazon 2,8 %, Apple 1,9 %, Meta 0,9 %. Wenn ein Anbieter dominiert und die anderen kaum auftauchen, ist der Reflex, den eigenen Inhalt verantwortlich zu machen. Meist ist es die Infrastruktur. Amazonbot, Applebot und Meta-ExternalAgent sind genau die Crawler, die eine Standard-KI-Regel eines CDN abschaltet. Cloudflare hat im Juli 2024 einen Ein-Klick-Schalter „Block AI Scrapers and Crawlers" für jeden Tarif ausgeliefert, kostenlose Stufe inklusive — und seine Blockliste nennt ausdrücklich Amazonbot, Applebot, ChatGPT-User und ClaudeBot (Cloudflare, "Declaring your AIndependence"). Eine robots.txt, die jemand vor zwei Jahren geschrieben hat, tut dasselbe still. Ein Anteil nahe null bei Amazon, Apple oder Meta bedeutet also meist eines: Du bist für diese Oberflächen unsichtbar, egal wie gut deine Seiten sind, weil eine Bot-Regel sie an der Tür abweist. (Anthropic liegt hier bei gesunden 7,4 % — die Hälfte davon Live-Abrufe von Claude-User —, und genau so sieht ein erreichbarer Crawler aus; der Kontrast ist das eigentliche Signal.) Das ist eine Fünf-Minuten-Prüfung, die einen Monat Content-Arbeit schlägt. Bevor du folgerst, ein Anbieter möge deinen Inhalt nicht, bestätige, dass sein Crawler dich überhaupt erreichen kann: Prüfe die robots.txt für genau diesen User-Agent und prüfe die Bot-Regeln deines CDN. Ein niedriger Anbieter-Anteil ist zuerst eine Technik-Diagnose und erst danach eine Content-Diagnose.

Das Statuscode-Panel ist das, an dem die meisten vorbeiscrollen, und auf unserer eigenen Seite steckte darin der wichtigste Befund. Von 108 KI-Abrufen: 200 (OK) 63, 304 (Not Modified) 26, 406 (Not Acceptable) 13, 301 (Weiterleitung) 5, 400 (Bad Request) 1. Dreizehn von hundertacht — rund 12 % — gaben HTTP 406 zurück. Ein 406 heißt, der Server hat die Anfrage anhand ihrer Header abgelehnt, eine klassische Signatur einer WAF- oder CDN-Edge-Regel, die einen Bot blockiert, den die robots.txt eigentlich erlaubt. Das ist die „erlaubt, aber nicht erreichbar"-Falle: Unsere robots.txt sagte ja, unsere Edge sagte nein, und der Crawler ging etwa jedes achte Mal leer aus. Keine gesampelte Sichtbarkeits-Kennzahl hätte diesen Ausfall je erklärt. Das Log tat es, in einer Zeile. Statuscodes fangen, was gesampelte Kennzahlen nicht können: Bots, die 403 oder 406 von deiner WAF bekommen, langsame Antworten, die in Timeouts laufen, oder — der stille Killer — Inhalt, der erst nach JavaScript rendert. Die meisten Live-Antwort-Crawler führen wenig bis kein JavaScript aus, eine client-seitig gerenderte Seite ist für sie also eine leere Seite, selbst bei sauberem 200. Wenn deine KI-Abrufe ankommen, dein Inhalt aber trotzdem nicht zitiert wird, schau dort hin. Repariere den Transport, bevor du an den Wörtern feilst.

Das letzte Panel listet die Seiten, die KI-Crawler tatsächlich abgerufen haben. Bei pmax.online standen oben die robots.txt (10), die Startseite (6), ein einzelner Blogbeitrag (4) und die sitemap.xml (3) — und dann wurde es schnell dünn. Diese Verteilung ist eine Landkarte dessen, was Engines finden können. Wenn Crawler nur je deine Startseite, deinen Blog-Index und deine robots-Datei berühren, aber nie deine Vergleichsseiten, deine Preise oder deine Leistungs- und Kategorieseiten, dann sind diese Seiten entweder intern schlecht verlinkt oder werden nicht als Antwort-Kandidaten ausgespielt. Genau die Seiten, die du am liebsten zitiert hättest — die, die konvertieren — fehlen in dieser Liste. Gleiche sie mit den Fragen ab, die du gewinnen willst, und die Lücke sagt dir exakt, worüber du als Nächstes schreiben und worauf du von wo verlinken solltest. Ein Crawler, der nur je deine Eingangstür liest, hat nur je deine Eingangstür gesehen.

Eine Seite zu veröffentlichen ist nicht dasselbe wie ein Modell, das von ihr weiß. Das Crawl-Log schließt diese Schleife. Es trägt einen Herzschlag — bei unserem Projekt „empfange Logs: 46 Zeilen im letzten Batch, in dieser Minute" — sodass du bestätigen kannst, dass der Feed lebt, und dann beobachtest, was nach dem Veröffentlichen passiert. Veröffentliche oder überarbeite eine Seite wesentlich und beobachte, ob erneute Abrufe innerhalb von Tagen folgen oder sich über Wochen ziehen; ein schnelles Re-Crawl heißt, deine Änderungen erreichen die Modelle, ein langsames ist ein Hinweis, Sitemap-Hygiene und interne Verlinkung zu straffen. Veröffentlichen, den Re-Abruf beobachten, nachjustieren — so wird aus einem passiven Log ein Arbeitsrhythmus. Zwei Vorbehalte halten den Bericht ehrlich, und beide lohnt es sich, einem Kunden laut zu sagen. Erstens: Crawl-Volumen ist ein Proxy, kein Ergebnis. Eine Seite kann ständig abgerufen und nie zitiert werden, und eine selten abgerufene Seite kann jedes Mal zitiert werden. Zugriff ist die Voraussetzung für eine Zitierung, nicht dasselbe — genau deshalb braucht ein ernsthaftes Programm beide Hälften: das Crawl-Log fürs Angebot, den gesampelten Sichtbarkeits-Score fürs Ergebnis. Lass ein steigendes Abruf-Volumen nicht für steigende Sichtbarkeit durchgehen. Zweitens: Training-Crawler zu erlauben, ist eine Strategie-Entscheidung, kein technischer Standard. GPTBot zu blockieren hält deinen Inhalt aus dem Trainingsdatensatz des nächsten Modells; es entfernt dich nicht aus den heutigen Antworten, die von den Suche- und Nutzeranfrage-Crawlern bedient werden. Manche Marken erlauben bewusst Retrieval-Bots und blockieren Training-Bots. Das Crawl-Log ist das, was dir diese Entscheidung mit Zahlen statt mit einem Bauchgefühl ermöglicht.

Was sagt uns also ein 14-Tage-Log mit 108 KI-Abrufen wirklich über pmax.online? Vor allem, dass das Volumen niedrig ist und die ersten Korrekturen keine Content-Korrekturen sind. Hundertacht Abrufe in zwei Wochen sind magere Kost für eine Website, die über sieben Engines zitiert werden will. Aber bevor auch nur eine neue Seite geschrieben wird, zeigt das Log auf zwei günstigere Gewinne: die 12 % der Abrufe mit 406 (eine Firewall-Regel zum Lockern) und die Anteile nahe null bei Amazon, Apple und Meta (Crawler-Zugriff zu bestätigen). Das ist Technik, und in der Technik versteckt sich meist das fehlende KI-Crawler-Volumen. Das ist der Wert, die Angebotsseite zuerst zu lesen. Der Sichtbarkeits-Score sagt dir, dass du nicht oft genug zitiert wirst. Das Crawl-Log sagt dir, ob das daran liegt, dass die Modelle dich nicht erreichen, nicht lesen oder schlicht nichts zum Zitieren finden — und diese drei Probleme haben völlig verschiedene Lösungen. Fang beim Log an, in CrunchJunkies Crawl-Insights, und du reparierst die günstigen, strukturellen Probleme, bevor du ein Quartal damit verbringst, Content zu schreiben, den eine Firewall ohnehin blockiert hätte.