Nos robots

CrunchJunkie récupère des pages web dans deux cas : lorsqu'un de nos clients audite un site qu'il gère, et lorsque quelqu'un lance un audit GEO d'un site. Cette page liste chaque agent utilisateur qu'ils envoient, ce qu'ils font et comment les autoriser ou les bloquer.

CrunchJunkieSiteAudit

Récupère les pages d'un site web lorsqu'un de nos clients lance un audit d'un site qu'il gère. Il part de la page d'accueil et suit ses liens et son sitemap.

  • Il ne crawle que le site web auquel l'audit appartient : son hôte avec et sans www. Si la page de départ redirige vers un autre site, le crawl s'arrête.
  • Il lit robots.txt avant toute page, celui du site et celui de sa variante www, et le respecte : le groupe de CrunchJunkieSiteAudit s'il existe, sinon le groupe *. Il vérifie robots.txt à nouveau avant chaque redirection qu'il suit : il ne demande donc jamais une URL que robots.txt ferme. Si robots.txt répond par une erreur serveur, il s'arrête, comme l'exige la norme robots.txt (RFC 9309).
  • Il envoie au plus une requête par seconde à un site, chaque requête comptée : robots.txt, sitemaps, llms.txt, pages, redirections et la vérification ci-dessous. Il respecte Crawl-delay jusqu'à 10 secondes, ralentit lorsqu'un serveur répond 429 ou 503, fait une pause de 10 minutes après trois erreurs serveur d'affilée et ne crawle jamais un même site deux fois en même temps.
  • Il conserve ce dont un audit a besoin (codes de statut, titres, liens entre les pages), pas le texte des pages.

Agents utilisateurs

Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Mobile Safari/537.36 (compatible; CrunchJunkieSiteAudit/1.0; +https://crunchjunkie.io/bot)
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 (compatible; CrunchJunkieSiteAudit/1.0; +https://crunchjunkie.io/bot)

Pour vérifier si un pare-feu refuse les robots d'IA alors que robots.txt les autorise, il demande la page d'accueil une fois avec l'agent utilisateur publié de chacun de ces robots : OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, ClaudeBot, Claude-User, Googlebot, meta-webindexer. Ces requêtes sont cadencées comme toutes les autres.

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.3; +https://openai.com/searchbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/web-crawlers)

Il n'envoie aucun autre agent utilisateur.

CrunchJunkie-GEO

Récupère la page d'accueil, robots.txt, llms.txt, le sitemap et jusqu'à neuf autres pages d'un site lorsque quelqu'un lance un audit GEO, notre contrôle de la préparation d'un site à la recherche IA. Il s'identifie comme CrunchJunkie-GEO/1.0 et lit robots.txt en tant que tikitaka-crawlability/1.0. Pour vérifier si un pare-feu refuse les robots d'IA et si ceux-ci reçoivent le même contenu que les personnes, il demande aussi la page d'accueil et une page de contenu avec un agent utilisateur de navigateur ordinaire et avec les agents utilisateurs publiés de robots d'IA.

Agents utilisateurs

CrunchJunkie-GEO/1.0
tikitaka-crawlability/1.0
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.3; +https://openai.com/searchbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/web-crawlers)

Bloquer ou autoriser notre robot

Pour tenir le robot d'audit de site à l'écart de votre site, ajoutez ceci à votre robots.txt :

User-agent: CrunchJunkieSiteAudit
Disallow: /

Pour le laisser passer à travers un pare-feu ou un CDN, autorisez les requêtes dont l'agent utilisateur contient CrunchJunkieSiteAudit. Nos requêtes proviennent d'adresses IP cloud qui changent : autorisez-les donc par agent utilisateur plutôt que par adresse IP.

Contact

Une question sur nos robots, ou un problème avec eux ? Écrivez-nous : hello@crunchjunkie.io