Wir haben dieselbe Studie zweimal gemessen. Acht von 19 Agenturen wechselten den Rang. Kein Wechsel ist größer als die Fehlermarge.

Zwei Zeiträume ohne gemeinsame Tage: 4. bis 8. September und 14. bis 23. September. Dieselben sechs Einkäuferfragen, dieselben zwei Engines, dieselben neunzehn Agenturen. Jede Agentur wurde in einem Teil von 168 Antworten im ersten Zeitraum genannt und in einem Teil von 90 im zweiten. Acht Agenturen wechselten dazwischen den Rang. iPullRank fiel von eins auf zwei und hatte dabei 0,2 Prozentpunkte verloren. Siege Media übernahm Platz eins mit einem Plus von 4,4. First Page Sage stieg von neun auf sechs. Yes Optimist rutschte von dreizehn auf vierzehn. Keine dieser Bewegungen ist größer als die Fehlermarge. Bei allen neunzehn Agenturen überschneidet sich die Spanne des ersten Zeitraums mit der des zweiten. Der Führungswechsel an der Spitze besteht aus zwei Antworten: Im zweiten Zeitraum wurde Siege Media in 35 von 90 Antworten genannt, iPullRank in 33. Die größte rohe Veränderung der Tabelle, die 6,5 Punkte von Directive, liegt bequem in dem Bereich, den eine Stichprobe dieser Größe auch dann produziert, wenn überhaupt nichts passiert ist.

Lesen Sie die Tabelle als zwei getrennte Messungen derselben Sache, nicht als Vorher und Nachher. Jede Spanne ist die Fehlermarge: der Bereich, in dem der wahre Anteil plausibel liegt, gemessen an der Zahl der Antworten, die dahinterstehen. iPullRank wurde in 62 von 168 Antworten genannt, 37 %; bei so vielen Antworten kann der wahre Anteil irgendwo zwischen 30 % und 44 % liegen. Überschneiden sich die beiden Spannen einer Agentur, ist der Unterschied zwischen ihren Zeiträumen nicht belegt. (Die Methode ist das 95-%-Wilson-Intervall, siehe Methodik.) Der erste Zeitraum hat 168 Antworten und nicht die 198, aus denen das September-Ranking gebaut war, weil er den 3. September auslässt – den Tag, an dem die Liste der beobachteten Agenturen noch verändert wurde; gleichartig vergleichbar sind die beiden Zeiträume erst ab dem 4. September. Der zweite Zeitraum ist kleiner, 90 Antworten gegen 168, seine Spannen sind deshalb breiter. Das ist kein Mangel des zweiten Zeitraums, sondern schlicht das, was weniger Antworten hergeben. PP steht für Prozentpunkte. Die vollständigen Daten je Agentur – beide Zeiträume, die 95-%-Spannen und die Aufteilung nach Engine – stehen als CSV-Datei bereit, veröffentlicht unter CC BY 4.0: frei verwendbar, mit Nennung von CrunchJunkie und einem Link auf diese Seite als Quelle.

Niemand schlägt ein Kundenreporting auf und studiert eine Fehlermarge. Man schaut auf die Reihenfolge, und die Reihenfolge ist das Instabilste auf der Seite, weil sie aus einem stetigen Wert eine Position macht und den Abstand dabei wegwirft. Am oberen Ende der Tabelle: Im ersten Zeitraum führte iPullRank mit 62 von 168 Antworten, Siege Media folgte mit 58. Im zweiten führte Siege Media mit 35 von 90, iPullRank folgte mit 33. Vier Antworten trennten sie beim ersten Mal, zwei beim zweiten. Eine einzige Antwort, die an einem Tag anders ausfällt, hätte es wieder gedreht. Das ist keine Geschichte darüber, wie Siege Media iPullRank die Führung abnimmt. Es ist ein Abstand von zwei Antworten, der als Wechsel der Marktführerschaft berichtet wird. Weiter unten gilt dasselbe: Der Dreisprung von First Page Sage besteht darin, dass aus 27 von 168 nun 19 von 90 geworden sind – zwei Messungen, deren Spannen sich fast vollständig überschneiden. Wirklich auseinander liegen nur die, die schon vorher weit auseinanderlagen. iPullRank gegen Foundation Marketing ist in beiden Zeiträumen ein echter Abstand. iPullRank gegen Siege Media in keinem von beiden.

Nützlich wird dieser Befund als Zahl, die Sie auf Ihr eigenes Reporting anwenden können. Für eine Marke bei etwa 30 % Sichtbarkeit steht hier, wie viele Antworten jeder Zeitraum braucht, damit sich eine Veränderung einer bestimmten Größe vom Zufall trennen lässt. (Üblicher Zwei-Anteile-Test; die Einstellungen stehen in der Methodik.) Die erste Zeile ist die entscheidende. Fünf Punkte nachzuweisen verlangt rund 1.377 Antworten je Zeitraum. Bei der Taktung dieses Projekts – sieben Fragen (die sechs von hier plus eine Markenfrage), zweimal täglich, auf zwei Engines, also 28 Antworten pro Tag – sind das etwa sieben Wochen je Zeitraum und vierzehn Wochen für einen Vergleich. In dieser Taktung berichtet niemand in diesem Markt. Wir auch nicht. Die praktische Lesart ist nicht, dass Sie vierzehn Wochen brauchen. Sie lautet: Die Bewegung in einem wöchentlichen KI-Sichtbarkeitsreport ist fast vollständig Rauschen, und sie als Leistung auszuweisen ist eine Behauptung, die die Daten nicht tragen.

Über den zusammengefassten Zeitraum vom 4. bis 23. September lieferte jede Engine 129 Antworten je Agentur. Teilt man dieselben Antworten nach Engine auf, entstehen Unterschiede, gegen die alles verblasst, was der Kalender hergegeben hat. Seer Interactive wurde in 5 von Claudes 129 Antworten genannt und in 36 von ChatGPTs. NoGood: 11 gegen 38. Omniscient Digital läuft andersherum, 50 gegen 28. Diese Abstände sind deutlich größer als die Fehlermarge; das galt für keine der Bewegungen von Woche zu Woche. Wenn sich also eine Zahl zur KI-Sichtbarkeit bewegt und Sie wissen wollen, warum, ist die Zusammensetzung der Engines der bessere erste Verdächtige als der Markt. Eine Engine dazuzunehmen oder wegzulassen, oder ein Anbieter, der das Modell hinter einem Produktnamen austauscht, verschiebt einen gemischten Wert weiter als jede realistische Veränderung daran, wie oft jemand tatsächlich empfohlen wird. Warum sich die Engines unterscheiden, haben wir an anderer Stelle ausführlich beschrieben; hier ist derselbe Effekt einmal gegen das Rauschen gemessen.

Drei Änderungen, von denen keine ein anderes Tool verlangt. Nennen Sie die absolute Zahl neben der Quote. „Genannt in 33 von 90 Antworten“ lädt zur richtigen Rückfrage ein, „36,7 %“ nicht. Wer den Nenner sieht, kann sich selbst ausrechnen, dass ein Ausschlag von zwei Antworten kein Trend ist. Zeichnen Sie die Fehlermarge ins Diagramm. Ein Balken mit Spanne lässt sich schwerer überinterpretieren als einer ohne, und wenn sich die Spannen zweier Wettbewerber überschneiden, ist die ehrliche Aussage, dass sie gleichauf liegen – nicht, dass einer vorn ist. Berichten Sie keine Rangwechsel von Woche zu Woche. Berichten Sie Quote, Anzahl und Spanne, und lassen Sie die Reihenfolge sein, was sie ist. Fragt ein Kunde, warum sich die Reihenfolge geändert hat, lautet die Antwort meistens: Sie hat sich in keinem Sinn geändert, auf den man reagieren sollte. Nichts davon macht die Zahl weniger nützlich. Es macht die Aussagen, die an ihr hängen, überprüfbar – und das ist über die Laufzeit eines Retainers mehr wert.

Hier steht nicht, dass KI-Sichtbarkeit nicht messbar wäre. Die Unterschiede zwischen den Engines weiter oben sind bei diesem Stichprobenumfang real und groß, und ebenso real ist der Abstand zwischen einer Agentur, die in einem Drittel der Antworten genannt wird, und einer, die gar nicht vorkommt. Grobe Befunde kommen auf ein paar hundert Antworten sauber durch. Feine nicht. Hier steht auch nicht, dass das September-Ranking falsch war. Beide Zeiträume setzen im Großen und Ganzen dieselben fünf Agenturen nach oben und dieselben sieben nach unten. Die Struktur hielt. Bewegt hat sich nur die Reihenfolge darin. Und es lässt sich nicht über diesen Aufbau hinaus verallgemeinern. Neunzehn Agenturen, sechs Fragen, zwei Engines, ein Markt, zwanzig Tage. Eine Kategorie mit mehr Kandidaten oder mit Berichterstattung, die sich wirklich bewegt, kann sich anders verhalten. Die Rechnung zum Stichprobenumfang ist allerdings nicht agenturspezifisch. Sie gilt für jede Marke, deren Sichtbarkeit als Anteil an Antworten gemessen wird – also für alle.