Rastreadores de IA y rastreabilidad

Para que un asistente de IA pueda mencionar una marca, su rastreador tiene que poder leer el sitio. CrunchJunkie te da dos herramientas complementarias en Visibilidad en IA → un cliente → el grupo «Agent analytics»: • Rastreabilidad: revisa el robots.txt de un sitio para mostrar qué rastreadores de IA (GPTBot, ClaudeBot, Google-Extended, PerplexityBot y unos 20 más) están permitidos, bloqueados en parte o bloqueados del todo. Es la forma más rápida de detectar el error habitual de bloquear sin querer los mismos bots que alimentan las respuestas de IA. • Insights de rastreo: muestra qué bots de IA han visitado realmente el sitio, con qué frecuencia y qué páginas han consultado, a partir de los logs de acceso de tu servidor o de tu CDN. La rastreabilidad te dice qué está permitido; los insights de rastreo te dicen qué ocurre en realidad.

La rastreabilidad no necesita más que la dirección del sitio. 1. Comprueba que el cliente tiene un sitio web guardado: Clientes → abre el cliente → indica la URL de su sitio web (por ejemplo, example.com). Así se rellena el analizador de antemano. 2. Abre Visibilidad en IA → el cliente → Rastreabilidad. 3. El dominio aparece ya rellenado (o escribe cualquier dominio). Haz clic en Analizar. CrunchJunkie descarga el robots.txt del dominio y muestra una tabla con los bots de IA conocidos y un estado (Permitido, Parcial o Bloqueado), además de, para cada uno, por qué se clasifica así y cómo cambiarlo. Cada comprobación se guarda en un historial, de modo que puedes repetirla más tarde y ver exactamente qué ha cambiado desde la última. No hay configuración ni etiquetas: lee directamente el robots.txt público.

Los insights de rastreo necesitan los logs de acceso de tu servidor o CDN, porque es el único sitio donde se registran las visitas de los bots de IA. 1. Abre Visibilidad en IA → el cliente → Insights de rastreo. En la primera visita verás una URL de ingesta única (…/api/crawl-logs/<key>) y un botón de subida. La clave pertenece al proyecto: si eliminas un proyecto cuyo drain ha entregado logs en los últimos 14 días, CrunchJunkie te pide que traslades la clave a otro proyecto del cliente primero (el drain sigue funcionando sin cambios) o que lo confirmes; un drain que siga enviando a la URL de un proyecto eliminado recibe un 410 Gone con la fecha, nunca un 401 interminable. 2. Haz llegar los datos de una de estas dos formas: • Una sola vez: descarga una exportación de logs de acceso de tu servidor o CDN (formato combined de Nginx/Apache, o una exportación de logs de Cloudflare/Vercel como .log/.csv) y sube el archivo en la página. • De forma continua: apunta un log drain a la URL de ingesta para que los nuevos accesos lleguen automáticamente: un log drain de Vercel, un forwarder de Nginx/Apache, un Cloudflare Worker (la vía gratuita/Pro; fragmento listo para pegar en la página de Insights de rastreo) o Cloudflare Logpush (solo Enterprise). Una trampa con un log drain de Vercel: sus reglas de muestreo funcionan como una lista blanca. Vercel las aplica de arriba abajo, y una petición que no coincide con ninguna regla se descarta. Un drain cuya única regla sea, por ejemplo, «/api/crawl-logs al 0 %» (para que la ruta de ingesta no se registre a sí misma) no reenvía por tanto absolutamente nada, y Vercel lo sigue mostrando como activo, porque ninguna entrega llega a fallar. Si añades una regla así, pon debajo una regla general: ruta en blanco, producción, 100 %. Sin ninguna regla, el drain reenvía todo. 3. CrunchJunkie analiza las líneas, conserva solo los accesos de bots de IA (todo lo demás se ignora) y construye el panel: visitas totales, bots activos, desgloses por plataforma / bot / finalidad (entrenamiento, búsqueda, consulta del usuario), rutas más rastreadas, códigos de estado HTTP y una tendencia de visitas en el tiempo que puedes ver a 7/14/30/90 días. La tabla de páginas principales muestra lo que leen los rastreadores reales: las sondas de escáneres (rutas del estilo /.env bajo cualquier nombre) y las peticiones de impostores (IP falsificadas, nombres que solo piden robots.txt, IP que rotan entre los nombres de rastreador de varios operadores) se dejan fuera y se informan como un único recuento, y un nombre que se ha puesto un escáner se marca como tal en la tarjeta de su proveedor y en la lista por bot. En Códigos de estado, las respuestas 5xx se dividen entre las que recibió en una página de contenido un rastreador real o no verificable, una caída que importó, y las que solo se toparon con sondas de escáneres. Solo se almacenan los user-agents de bots de IA: el tráfico ordinario de personas o visitantes en los logs se descarta, así que no hay datos personales de visitantes que gestionar. Una tarjeta, «Solicitaron Markdown», depende de lo que contenga tu origen de logs. Desde la primavera de 2026, los fetchers que hay detrás de las respuestas de IA envían Accept: text/markdown en URLs de páginas normales, y la tarjeta muestra por rastreador cuántas peticiones pidieron Markdown sobre el total de peticiones cuyo encabezado Accept se registró (el tamaño de la muestra se muestra siempre). El fragmento del Cloudflare Worker reenvía el encabezado; un log drain de Vercel, Cloudflare Logpush y los logs de acceso combined no lo hacen, así que con esos orígenes la tarjeta dice que el encabezado es desconocido en lugar de mostrar un 0 %. Un forwarder propio puede incluir el encabezado como un campo «accept» en cada visita.

Los datos de rastreo no sirven solo para tu propio diagnóstico: pasan directamente a un informe de cliente. Añade un widget de Tabla, elige la fuente Visibilidad en IA y ponle la dimensión «Crawler visits». Obtienes una fila por cada rastreador de IA que haya pedido páginas del sitio dentro del rango de fechas del informe (GPTBot, PerplexityBot, ClaudeBot y el resto) repartida en cinco columnas: Bot, Plataforma, Tipo (entrenamiento, búsqueda o consulta del usuario), Visitas y Cuota, que es el porcentaje de ese bot sobre todas las visitas de bots del periodo. Conviene explicar a un cliente qué hace distinta a esta tabla de todo lo demás en la página. Cualquier otra cifra de visibilidad en IA es una estimación basada en una muestra: lanzamos los prompts a los modelos muchas veces y contamos lo que devuelven, que es la forma honesta de medir algo no determinista, pero sigue siendo una muestra con un margen de error. Esta no lo es. Cada visita es una línea de un log del servidor que registra que un bot con nombre pidió una URL en un momento concreto. Es un hecho comprobado, y es la prueba más sólida que puedes poner delante de un cliente de que los sistemas de IA están leyendo su sitio. Hay un requisito previo que debes cumplir. La tabla solo tiene datos si la ingesta de logs de rastreo está configurada para ese proyecto (véase «Configurar los insights de rastreo» más arriba). Sin ella, el widget simplemente está vacío, y vacío significa «aún no conectado», no «ningún rastreador de IA se interesa por este sitio». Configura la ingesta antes de que la tabla se acerque a un informe de cliente, o contará exactamente la historia equivocada.

La tarjeta «Por sección del sitio» agrupa las mismas peticiones de páginas que la tabla de páginas principales según la parte del sitio a la que llegan, para que veas si los rastreadores pasan el tiempo en /blog, /products o /docs, y dónde los rechazan. Las sondas de escáneres, las peticiones de impostores, las llamadas de API o de herramientas y las peticiones de robots.txt, de sitemaps y de recursos se dejan fuera y se cuentan bajo la tarjeta. Una ruta encuentra su sección en este orden. Primero van tus propias reglas de sección. Después, la página de inicio y la primera parte de la ruta cuando al menos una página consultada cuelga de ella: /blog/a y /blog/b forman la sección /blog, y /blog en sí se suma a ella. Una carpeta de idioma como /de/ o /en-gb/ se conserva como prefijo, de modo que /de/blog y /blog son dos secciones. Una página de primer nivel sin nada consultado por debajo (/about, /pricing) va a «Páginas de primer nivel». Se muestran las doce secciones con más actividad y el resto se suma en «Otras secciones», que indica cuántas había; una sección procedente de tus propias reglas se muestra siempre. Cada sección muestra sus peticiones y su cuota de todas las peticiones de páginas, las peticiones por operador de rastreador (OpenAI, Anthropic, Google y los demás), cuántas vinieron de los rangos de IP publicados por un operador, el número de páginas distintas y la cuota respondida con 2xx, rechazada por un firewall o una CDN (403/406) o fallida (404, 410, otros 4xx, 5xx). Esas cuotas se calculan sobre las peticiones cuya línea de log incluía un estado, y la tarjeta indica ese número. Todas las cifras son recuentos o cuotas divididas una sola vez sobre toda la ventana, nunca promedios. Tus propias secciones: abre «Editar secciones» en la tarjeta y escribe una regla por línea, un prefijo de ruta y, opcionalmente, un nombre después de un signo igual, por ejemplo /de/blog = Blog (DE). Gana el prefijo coincidente más largo, así que /de/blog se queda con sus páginas antes que /de. Hasta 20 reglas; se aplican a la vez a la página, a la tabla de informe «Crawl sections» y al conector MCP, para todos los periodos, porque solo cambian cómo se agrupan las peticiones almacenadas. Una sección muy rastreada no es una sección que las respuestas de IA citen. Los rastreadores consultan páginas para indexarlas o para responder a una pregunta; las respuestas suelen construirse a partir de un índice o de una caché. Lee esta tarjeta para el acceso y para problemas como que un firewall rechace una sección, y las páginas de Visibilidad en IA para las citas.

Si la rastreabilidad muestra que un bot de IA que quieres está Bloqueado, edita el robots.txt del sitio para permitirlo (la nota «How to change it» de cada fila te indica la directiva exacta), despliega y haz clic en Analizar de nuevo para confirmar el cambio: el historial registrará la mejora. Parcial significa que solo algunas rutas están prohibidas: las reglas para /api, /admin o un área de inicio de sesión son normales y no requieren cambios; revisa las rutas indicadas y cámbialas solo si cubren páginas que quieres que usen las respuestas. Si los insights de rastreo muestran un bot que recibe muchos 404 o que nunca llega a tus páginas clave, es una señal para corregir enlaces internos, sitemaps o errores del servidor, de modo que el rastreador pueda indexar el contenido que quieres que aparezca en las respuestas de IA.