Nuestros rastreadores

CrunchJunkie obtiene páginas web en dos situaciones: cuando uno de nuestros clientes audita un sitio web que gestiona y cuando alguien ejecuta una auditoría GEO de un sitio. Esta página enumera cada agente de usuario que envían, qué hacen y cómo permitirlos o bloquearlos.

CrunchJunkieSiteAudit

Obtiene las páginas de un sitio web cuando uno de nuestros clientes ejecuta una auditoría de un sitio que gestiona. Empieza en la página de inicio y sigue sus enlaces y su sitemap.

  • Solo rastrea el sitio web al que pertenece la auditoría: su host con y sin www. Si la página de inicio redirige a otro sitio, el rastreo termina.
  • Lee robots.txt antes de cualquier página, el del sitio y el de su versión con www, y lo respeta: el grupo de CrunchJunkieSiteAudit si existe y, si no, el grupo *. Vuelve a comprobar robots.txt antes de cada redirección que sigue, así que nunca solicita una URL que robots.txt cierre. Si robots.txt responde con un error del servidor, se detiene, como exige el estándar robots.txt (RFC 9309).
  • Envía como mucho una petición por segundo a un sitio, contando cada petición: robots.txt, sitemaps, llms.txt, páginas, redirecciones y la comprobación de abajo. Respeta Crawl-delay hasta 10 segundos, va más despacio cuando un servidor responde 429 o 503, hace una pausa de 10 minutos tras tres errores del servidor seguidos y nunca rastrea un sitio dos veces a la vez.
  • Guarda lo que necesita una auditoría (códigos de estado, títulos, enlaces entre páginas), no el texto de las páginas.

Agentes de usuario

Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Mobile Safari/537.36 (compatible; CrunchJunkieSiteAudit/1.0; +https://crunchjunkie.io/bot)
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 (compatible; CrunchJunkieSiteAudit/1.0; +https://crunchjunkie.io/bot)

Para comprobar si un cortafuegos rechaza a los rastreadores de IA aunque robots.txt los permita, solicita la página de inicio una vez con el agente de usuario publicado de cada uno de estos rastreadores: OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, ClaudeBot, Claude-User, Googlebot, meta-webindexer. Estas peticiones van al mismo ritmo que todas las demás.

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.3; +https://openai.com/searchbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/web-crawlers)

No envía ningún otro agente de usuario.

CrunchJunkie-GEO

Obtiene la página de inicio, robots.txt, llms.txt, el sitemap y hasta otras nueve páginas de un sitio cuando alguien ejecuta una auditoría GEO, nuestra comprobación de lo preparado que está un sitio para la búsqueda con IA. Se identifica como CrunchJunkie-GEO/1.0 y lee robots.txt como tikitaka-crawlability/1.0. Para comprobar si un cortafuegos rechaza a los rastreadores de IA y si estos reciben el mismo contenido que las personas, también solicita la página de inicio y una página de contenido con un agente de usuario de navegador normal y con los agentes de usuario publicados de los rastreadores de IA.

Agentes de usuario

CrunchJunkie-GEO/1.0
tikitaka-crawlability/1.0
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.3; +https://openai.com/searchbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/web-crawlers)

Bloquear o permitir nuestro rastreador

Para mantener el rastreador de auditorías fuera de tu sitio, añade esto a tu robots.txt:

User-agent: CrunchJunkieSiteAudit
Disallow: /

Para dejarlo pasar por un cortafuegos o una CDN, permite las peticiones cuyo agente de usuario contenga CrunchJunkieSiteAudit. Nuestras peticiones llegan desde direcciones IP de la nube que cambian, así que permítelas por agente de usuario y no por dirección IP.

Contacto

¿Una pregunta sobre nuestros rastreadores o un problema con ellos? Escríbenos: hello@crunchjunkie.io