Sind deine KI-Sichtbarkeitsdaten echt? Ein reproduzierbarer Test

Ein KI-Sichtbarkeits-Tool beantwortet eine Frage: Wenn ein Käufer eine Antwort-Engine zu deiner Kategorie befragt, wie oft taucht deine Marke auf? Um das zu beantworten, muss das Tool die Engine fragen — und dafür gibt es nur zwei Wege. Der erste ist UI-Capture, also Browser-Automatisierung: Das Tool steuert eine echte Browser-Session gegen das Consumer-Produkt auf chatgpt.com oder perplexity.ai. Peec AI, ein Berliner Wettbewerber, gegründet Anfang 2025, ist ein öffentliches Beispiel — es beschreibt, Antwort-Engines durch das Simulieren von Browser-Sessions zu messen statt durch API-Aufrufe. Der zweite ist API-Sampling: Das Tool ruft den API-Endpunkt des Anbieters auf und erfasst die Antwort. Warum die Unterscheidung keine Haarspalterei ist: Das Consumer-Produkt und die API sind verschiedene Systeme. Die Consumer-App hat ihren eigenen System-Prompt, ihr eigenes Gedächtnis, Personalisierung, Modell-Routing und ihre eigene Retrieval-Pipeline. Die API hat nichts davon. Perplexitys eigene Dokumentation und Tests Dritter halten fest, dass sich die Sonar-API anders verhält als das Consumer-Produkt, und Googles AI Mode und AI Overviews haben gar keine öffentliche API — Browser-Capture ist also die einzige Option, die es für sie gibt. Weil die Markensichtbarkeit in einer generativen Antwort ganz überwiegend davon bestimmt wird, was die Engine vor dem Antworten abgerufen hat, und weil sich das Retrieval zwischen Oberflächen unterscheidet, ist die Oberfläche, die du misst, kein Implementierungsdetail. Sie ist die Messung. Die ehrliche Schlussfolgerung ist nicht, dass eine Architektur gewinnt — sondern dass jede einer anderen Menge von Verzerrungen ausgesetzt ist und ein Käufer wissen sollte, welcher. Wir haben den grundsätzlichen Fall gemacht, dass Sampling-Design und nicht die Erfassungsmethode über Genauigkeit entscheidet; dieser Beitrag ist der praktische Test.

Jede Architektur ist einer anderen Menge von Verzerrungen ausgesetzt. Hier sind die sechs, die zählen, und welche Erfassungsmethode jede trifft — die mit „Beide“ markierten Zeilen treffen auch API-Sampling, und genau dort sitzt die gefährliche.

Personalisierung ist das lautere Problem — und das ungefährlichere, weil Rauschen sichtbar ist. Irgendwann fragt jemand, warum der Share of Voice in einer Woche um elf Punkte gesprungen ist. Caching ist das gefährliche. Ein Cache-Treffer erzeugt eine flache, stabile, professionell aussehende Trendlinie — und in diesem Markt wird Flachheit als Datenqualität fehlgedeutet. Ein Kunde sieht stabile Sichtbarkeit und schließt, sein GEO-Programm funktioniere nicht, obwohl in Wahrheit nichts gemessen wurde. Das ist der Bug, der am längsten überlebt, weil er nie wie ein Bug aussieht. Es gibt eine konkrete, testbare Konsequenz, die man klar aussprechen sollte: Wenn Antworten nicht deterministisch sind und deine nicht variieren, liest du einen Cache. Generative Modelle ziehen aus einer Verteilung, und das Retrieval verschiebt sich von Stunde zu Stunde — echte wiederholte Messung desselben Prompts sollte also unterschiedliche Formulierungen und häufig eine andere Menge genannter Marken hervorbringen. Stabilität auf der Ebene einzelner Antworten ist keine Präzision. Sie ist ein Symptom.

Es folgen drei Tests. Alle drei laufen gegen die Consumer-Oberfläche, die die meisten Tools darzustellen behaupten — führe sie selbst aus, bevor du dem Chart eines Anbieters traust, unserem eingeschlossen. Jeder Test nutzt Semrush als Kontrollmarke, und diese Wahl leistet die methodische Arbeit. Semrush ist einer der etabliertesten Namen im SEO-Tooling, mit einem großen Volumen an Berichterstattung Dritter, Präsenz auf Bewertungsseiten und Vergleichsinhalten — bei breiten Kategorie-Prompts sollte es also nahe der maximalen Sichtbarkeit auftauchen. Das gibt dir einen bekannten Erwartungswert. Das ist wichtig, weil es zwei Dinge trennt, die sonst identisch aussehen. Wenn die gemessene Sichtbarkeit deiner Kontrollmarke bei Durchläufen desselben Prompts in derselben Stunde von 100 % auf 60 % schwankt, ist diese Schwankung Mess-Rauschen — Semrushs tatsächliche Marktposition hat sich in vierzig Minuten nicht bewegt. Jedes Tool, das eine Bewegung deiner eigenen Marke kleiner als dieses beobachtete Rauschniveau meldet, meldet nichts. Ersetze den dominanten Platzhirsch deiner eigenen Kategorie, wenn du keine SEO-Tools testest; die einzige Anforderung ist, dass die Marke mit nahezu Sicherheit auftaucht.

Setup. Öffne ChatGPT und Perplexity, deaktiviere das Gedächtnis und nutze einen temporären oder Inkognito-Chat. Öffne für jeden einzelnen Durchlauf eine brandneue Unterhaltung. Das ist nicht optional: Nutzt du einen Thread erneut, ist Durchlauf drei von den Durchläufen eins und zwei konditioniert, und du misst deine eigene Unterhaltung statt der Engine. Vorgehen. Sende den Prompt unten 20-mal über rund 10 Minuten, in 20 frischen Unterhaltungen. Notiere für jeden Durchlauf: (a) die vollständige Liste der genannten Marken, (b) ob Semrush auftaucht, (c) Semrushs Position in der Liste und (d) die ersten fünfzehn Wörter der Antwort wortwörtlich. Ergebnis lesen: • Eröffnungssätze über die meisten Durchläufe nahezu identisch → Antwort-Caching oder etwas funktional Gleichwertiges. Deine Daten haben ein Auflösungsproblem. • Markenliste in jedem Durchlauf identisch, aber die Formulierung variiert → die Generierung ist frisch, das Retrieval ist gecacht. Das ist das häufigere Muster und das folgenreichere, weil es das Retrieval ist, das bestimmt, wer genannt wird. • Sowohl Formulierung als auch Markenliste variieren → nicht gecacht. Zähle jetzt, wie stark sie variieren; diese Varianz ist dein Rauschniveau, und es ist die Zahl, die der Rest deines Reportings überschreiten muss. Schreib das Rauschniveau als Prozentwert auf. Tauchte Semrush in 17 von 20 Durchläufen auf, liegt dein Fehlerbalken für eine Einzelmessung bei rund ±15 Prozentpunkten — und ein Anbieter, der meldet, deine Sichtbarkeit sei bei täglicher Erhebung von 22 % auf 26 % gestiegen, liegt innerhalb dieses Bands. Der exakte Prompt, jedes Mal byte-identisch gesendet:

What are the best SEO tools for a mid-sized marketing agency in 2026?

Antwort-Caching ist unsichtbar, wenn du nur Fragen stellst, deren Antworten sich nicht ändern — konstruiere also eine Frage, deren Antwort du kontrollierst und deren Zeitpunkt du genau kennst. Setup. Veröffentliche auf deiner eigenen Domain eine Seite mit einer konkreten, ungewöhnlichen, überprüfbaren Tatsachenbehauptung — eine datierte Statistik, eine benannte Methodik, eine Zahl, die sonst nirgends vorkommt. Halte den Veröffentlichungszeitpunkt fest, reiche die URL per IndexNow ein und bestätige, dass sie indexiert ist. Ergebnis lesen. Die Verzögerung zwischen bestätigter Indexierung und dem Moment, in dem die Engine die Behauptung wiedergibt, ist deine Retrieval-TTL für diese Engine — und diese Zahl ist die wahre Latenz deiner gesamten GEO-Feedbackschleife. Sind es elf Tage, dann liefert jeder Test, den du innerhalb von elf Tagen an neuen Inhalten fährst, ein falsches Negativ, und jeder Anbieter, der tägliche Granularität bei Inhaltsänderungen meldet, meldet innerhalb seiner eigenen Verzögerung. Fahre den Kanari getrennt pro Engine — sie teilen sich keine Infrastruktur und, unserer Erfahrung nach, keine Latenz. Zwei Prompts erledigen hier die Arbeit:

According to [your domain], what is [the specific claim on the canary page]?

What sources report [the specific claim]?

Setup. Du brauchst vier Bedingungen, gleichzeitig auf denselben Prompt gefahren: 1. Account A, Gedächtnis an, hat zuvor 30+ Prompts zu SEO-Tooling gefahren 2. Account B, Gedächtnis aus, keine Kategorie-Vorgeschichte, temporärer Chat 3. Account B über eine US-IP 4. Account B über eine deutsche IP Fahre jede Bedingung 10-mal und notiere Semrushs Trefferquote und die vollständige Markenliste je Bedingung. Ergebnis lesen: • A weicht von B ab → Account-Gedächtnis kontaminiert die Messung. Das ist die industrialisierte Version eines Fehlers, den Einzelne ständig machen: die eigene Marke wiederholt suchen und dann das personalisierte Ergebnis als Marktdaten lesen. Im großen Maßstab ist ein Scraping-Account, der tausende Kategorie-Prompts gefahren hat, kein neutraler Beobachter mehr — er hat ein Profil. • US weicht von DE ab → Locale-Routing ist eine lebende Variable, und wer eine einzige globale Sichtbarkeitszahl meldet, mittelt still darüber hinweg. Wenn du in mehreren Märkten verkaufst, bestehe auf Reporting pro Markt. • Free-Tarif weicht von zahlend ab → auch der Tarif ist eine Variable, und keiner der Tarife ist „das, was Nutzer sehen“, weil echte Nutzer auf beide verteilt sind. Der Prompt, identisch über alle vier Bedingungen:

Which SEO and marketing reporting tools would you recommend, and why?

Diese sind beantwortbar, und sie unterscheiden. Ein Anbieter, der alle sieben beantwortet, hat über Messung nachgedacht; die meisten können vier nicht beantworten. 1. Ist das Account-Gedächtnis deaktiviert, und läuft jeder Prompt in einer frischen Unterhaltung? 2. Werden Mess-Accounts rotiert, und wie wird Kategorie-Kontamination verhindert? 3. Welcher Abo-Tarif wird gemessen, pro Engine? 4. Residential- oder Rechenzentrums-IPs, und welche Locales? 5. Werden Prompts byte-identisch gesendet oder paraphrasiert, um Caching auszuhebeln? 6. Wie viele Durchläufe pro Prompt, pro Zeitraum? Nicht „täglich“ — die Zahl der Durchläufe. 7. Wird Varianz oder ein Konfidenzintervall neben dem Mittelwert ausgewiesen? Frage sechs ist die, die die Branche meidet. „Tägliches Tracking“ ist eine Frequenz, keine Stichprobengröße. Ein Durchlauf pro Prompt und Tag kann angesichts des in Test 1 gemessenen Rauschniveaus keine Aussage über eine Vier-Punkte-Veränderung pro Woche tragen; fünfzig Durchläufe können es. Browser-Automatisierung kostet pro Abfrage deutlich mehr als ein API-Aufruf, was echten Druck zu niedrigeren Stichprobenzahlen erzeugt — für jedes UI-Capture-Tool ist das also die wichtigste Frage. Sie gilt auch für uns: Wir betreiben bewusst keine eigene Browser-Flotte — für die Engines ohne API rufen wir die gerenderte Antwort über eine Such-API eines Drittanbieters ab, und überall sonst nutzen wir die APIs der Anbieter selbst — aber die Frage nach Durchläufen pro Prompt landet trotzdem bei uns, und daran solltest du uns messen. Frage sieben ist der verräterische Punkt. Ein Tool, das auf einem nicht-deterministischen System einen Mittelwert ohne Konfidenzintervall meldet, präsentiert eine Punktschätzung als Tatsache.

Wir sind ein Anbieter, hier also die Grenze dessen, was in diesem Artikel überprüfbar ist. Beweisbar und öffentlich dokumentiert: dass Consumer-Apps und APIs verschiedene Systeme mit unterschiedlichem Retrieval sind; dass ChatGPT ein Gedächtnis und das Referenzieren des Chat-Verlaufs bietet, die Antworten konditionieren; dass sich Perplexitys Sonar-API anders verhält als das Consumer-Produkt; dass Google AI Mode und AI Overviews keine öffentliche API haben; dass generative Ausgaben nicht deterministisch sind; und dass Peec AI in Berlin ansässig ist, Anfang 2025 gegründet wurde und öffentlich beschreibt, Browser-Session-Capture statt API-Aufrufe zu nutzen. Nicht öffentlich dokumentiert und daher hier als testbar statt behauptet dargestellt: ob ein bestimmter Anbieter Antworten auf Antwort-Ebene cacht, wie hoch die Retrieval-TTL eines Anbieters ist und wie hoch die Stichprobenrate pro Prompt eines bestimmten Anbieters ist. Wir kennen Peec AIs internes Sampling-Design nicht und haben ihre Implementierung nicht geprüft. Nichts oben ist eine Behauptung, dass ihre Daten gecacht oder personalisiert sind — es ist die Behauptung, dass die Architektur diesen Effekten ausgesetzt ist, wie unsere auch, und dass diese Exposition von außen messbar ist. Wo CrunchJunkie exponiert ist. API-Sampling ist immun gegen Account-Gedächtnis und gegen UI-Experiment-Bucketing. Es ist nicht immun gegen Locale-Routing und nicht immun gegen Caching auf Retrieval-Ebene, das unter beiden Architekturen liegt. Für die Engines ohne API — Google AI Overviews, Google AI Mode und Microsoft Copilot — rufen wir die gerenderte Antwort über eine Such-API eines Drittanbieters ab, statt eigene eingeloggte Browser-Sessions zu betreiben, was Account-Gedächtnis und Experiment-Bucketing selbst aus diesen Ergebnissen heraushält, aber Locale-Routing, Caching auf Retrieval-Ebene und eine Abhängigkeit von der Erfassung dieses Anbieters übriglässt. Jedes Tool, das hier architektonische Immunität behauptet, überzieht — und du kannst es mit Test 1 in zwanzig Minuten überführen. Wenn du diese Tests gegen CrunchJunkie fährst und die Zahlen nicht standhalten, schick uns die Daten; das ist ein nützlicheres Gespräch als eine Vergleichsseite.