Unsere Crawler

CrunchJunkie ruft Webseiten in zwei Fällen ab: wenn einer unserer Kunden eine Website prüft, die er betreut, und wenn jemand ein GEO-Audit einer Website startet. Diese Seite listet jeden User-Agent, den sie senden, was sie tun und wie du sie zulässt oder sperrst.

CrunchJunkieSiteAudit

Ruft die Seiten einer Website ab, wenn einer unserer Kunden ein Audit einer Website startet, die er betreut. Er beginnt auf der Startseite und folgt ihren Links und ihrer Sitemap.

  • Er crawlt nur die Website, zu der das Audit gehört: ihren Host mit und ohne www. Leitet die Startseite auf eine andere Website weiter, endet der Crawl.
  • Er liest robots.txt vor jeder Seite, die der Website und die ihres www-Gegenstücks, und hält sich daran: an die Gruppe für CrunchJunkieSiteAudit, wenn es eine gibt, sonst an die Gruppe *. Vor jeder Weiterleitung, der er folgt, prüft er robots.txt erneut, eine URL, die robots.txt sperrt, ruft er also nie ab. Antwortet robots.txt mit einem Serverfehler, hört er auf, wie es der robots.txt-Standard (RFC 9309) verlangt.
  • Er sendet höchstens eine Anfrage pro Sekunde an eine Website, jede Anfrage mitgezählt: robots.txt, Sitemaps, llms.txt, Seiten, Weiterleitungen und die Prüfung unten. Er beachtet Crawl-delay bis zu 10 Sekunden, wird langsamer, wenn ein Server mit 429 oder 503 antwortet, pausiert 10 Minuten nach drei Serverfehlern in Folge und crawlt eine Website nie zweimal gleichzeitig.
  • Er speichert, was ein Audit braucht (Statuscodes, Titel, Links zwischen Seiten), nicht den Text der Seiten.

User-Agents

Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Mobile Safari/537.36 (compatible; CrunchJunkieSiteAudit/1.0; +https://crunchjunkie.io/bot)
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 (compatible; CrunchJunkieSiteAudit/1.0; +https://crunchjunkie.io/bot)

Um zu prüfen, ob eine Firewall KI-Crawler abweist, obwohl robots.txt sie erlaubt, ruft er die Startseite einmal mit dem veröffentlichten User-Agent jedes dieser Crawler ab: OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, ClaudeBot, Claude-User, Googlebot, meta-webindexer. Diese Anfragen sind getaktet wie alle anderen.

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.3; +https://openai.com/searchbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/web-crawlers)

Einen anderen User-Agent sendet er nicht.

CrunchJunkie-GEO

Ruft die Startseite, robots.txt, llms.txt, die Sitemap und bis zu neun weitere Seiten einer Website ab, wenn jemand ein GEO-Audit startet, unsere Prüfung, wie bereit eine Website für die KI-Suche ist. Er gibt sich als CrunchJunkie-GEO/1.0 zu erkennen und liest robots.txt als tikitaka-crawlability/1.0. Um zu prüfen, ob eine Firewall KI-Crawler abweist und ob KI-Crawler denselben Inhalt bekommen wie Menschen, ruft er außerdem die Startseite und eine Inhaltsseite mit einem gewöhnlichen Browser-User-Agent und mit den veröffentlichten User-Agents von KI-Crawlern ab.

User-Agents

CrunchJunkie-GEO/1.0
tikitaka-crawlability/1.0
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.3; +https://openai.com/searchbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/web-crawlers)

Unseren Crawler sperren oder zulassen

Um den Site-Audit-Crawler von deiner Website fernzuhalten, ergänze in deiner robots.txt:

User-agent: CrunchJunkieSiteAudit
Disallow: /

Um ihn durch eine Firewall oder ein CDN zu lassen, erlaube Anfragen, deren User-Agent CrunchJunkieSiteAudit enthält. Unsere Anfragen kommen von wechselnden Cloud-IP-Adressen, erlaube sie daher über den User-Agent, nicht über die IP-Adresse.

Kontakt

Eine Frage zu unseren Crawlern oder ein Problem mit ihnen? Schreib uns: hello@crunchjunkie.io