GPTBot, ClaudeBot, PerplexityBot: leer los logs para saber qué hacen realmente las IA con un sitio

Por qué estos bots aparecen en los logs

Los bots de IA ya no son visitantes marginales: recorren la web para recopilar, indexar o consultar contenidos. En los logs del servidor se reconocen primero por su user-agent y después por su comportamiento: frecuencia de las peticiones, páginas visitadas, respeto del fichero robots.txt y presencia o no de IP anunciadas oficialmente por el operador.

Para un administrador o un SEO técnico, lo que está en juego no es solo saber quién pasa, sino también qué consultan esos robots, a qué ritmo y si consumen recursos de forma inhabitual. Identificar correctamente GPTBot, ClaudeBot y PerplexityBot permite ajustar el acceso, documentar el tráfico máquina y mantener una lectura fiable del rendimiento del servidor.

Las firmas más útiles de detectar

El primer reflejo consiste en inspeccionar las cabeceras HTTP registradas en los logs. Los nombres de los bots suelen ser explícitos en el user-agent, lo que facilita la detección inicial. Los tres más frecuentes se reconocen así:

• GPTBot: user-agent que contiene a menudo la cadena GPTBot.
• ClaudeBot: user-agent que contiene ClaudeBot.
• PerplexityBot: user-agent que contiene PerplexityBot.

El método es rápido, pero no basta por sí solo. Un user-agent puede falsificarse, o llegar incompleto según el proxy inverso, el CDN o la configuración del registro. Para una identificación fiable, conviene cruzar siempre el nombre declarado con otros indicios: IP de origen, reverse DNS, volumen de rastreo y coherencia con los rangos publicados por el proveedor cuando existen.

GPTBot: el bot de entrenamiento de OpenAI

GPTBot es el crawler de OpenAI dedicado a recopilar datos públicos destinados a mejorar sus modelos. OpenAI explica en su documentación de GPTBot cómo bloquear este robot, mediante robots.txt o una regla de servidor. En los logs, sus peticiones apuntan a páginas accesibles públicamente.

Algunos puntos prácticos para identificarlo:

• comprobar el user-agent exacto en los logs sin procesar;
• observar si respeta las directivas Disallow del robots.txt;
• comparar la cadencia de las peticiones con la de un visitante humano;
• si es posible, verificar la IP y el PTR para confirmar la coherencia.

Un rastreo técnicamente limpio no se parece a un pico repentino de tráfico de navegador. GPTBot tiene más bien un perfil de recopilación regular, página a página, con una lógica de descubrimiento de contenidos cercana a la de los demás crawlers web.

ClaudeBot: el crawler de Anthropic

ClaudeBot recopila páginas para Anthropic, sin relación con las peticiones de los usuarios de Claude. También aquí el user-agent es la señal más directa: la cadena ClaudeBot aparece a menudo en las peticiones identificadas como procedentes del robot. Anthropic ha publicado además medios de control en su documentación pública, lo que permite a los responsables de un sitio gestionar el acceso como lo harían con otros crawlers conocidos.

Distinguir ClaudeBot de GPTBot tiene un interés concreto: los dos no siguen los mismos recorridos de rastreo. Para seguirle la pista con eficacia:

• centralizar los logs del servidor web y del CDN;
• filtrar las peticiones que contienen ClaudeBot en el user-agent;
• detectar las secuencias de impactos en páginas profundas o en archivos;
• vigilar los errores 403 y 404 o los bucles de rastreo inhabituales.

Un punto importante: si se bloquea ClaudeBot, conviene anotarlo con claridad en la documentación de explotación. Así se evita confundir una ausencia de tráfico de IA con un simple problema de registro.

PerplexityBot: el robot de búsqueda de Perplexity

PerplexityBot pertenece a Perplexity y se encuentra con frecuencia en sitios públicos. Perplexity documenta dos robots con funciones distintas, y confundirlos falsea cualquier lectura de los logs: PerplexityBot alimenta el índice, mientras que Perplexity-User va a buscar una página a demanda, cuando la pregunta de un usuario lo exige. En los logs, sus user-agents contienen respectivamente PerplexityBot y Perplexity-User. Detallamos ese reparto de funciones, proveedor por proveedor, en nuestro artículo sobre robots.txt, GPTBot y ChatGPT.

Para identificarlo sin ambigüedad:

• no quedarse en el nombre del bot: comprobar las rutas de URL solicitadas;
• mirar si el robot pasa con más gusto por contenidos editoriales, FAQ, páginas de ayuda o fichas de producto;
• analizar la repetición de ciertas URL en un periodo corto;
• contrastar los rastros con las reglas de exclusión presentes en el robots.txt.

PerplexityBot puede dejar una huella distinta de la de un crawler clásico: menos profundidad en algunos árboles técnicos, más atención a las páginas de texto con alto valor informativo. Es útil saberlo si el objetivo es entender cómo pueden consumir los contenidos los sistemas de respuesta automatizada.

Método de verificación fiable en los logs

Para evitar los falsos positivos, conviene adoptar un método en tres niveles:

1. Identificar el user-agent exacto en los logs sin procesar.
2. Confirmar con la dirección IP, el reverse DNS y, si están disponibles, los rangos oficiales publicados por el operador.
3. Calificar el comportamiento: frecuencia, profundidad de rastreo, respeto del robots.txt, tipos de páginas visitadas.

Una tabla sencilla puede ayudar a comparar las huellas observadas:

En un entorno Nginx, Apache o con un WAF, conviene conservar los logs de acceso completos con user-agent, IP, referer y estado HTTP. Sin ellos, la detección sigue siendo frágil.

Preguntas frecuentes

¿Hay que bloquear estos bots por defecto?
No necesariamente. Depende de la estrategia editorial, de las limitaciones de carga y de la política de uso de los contenidos. Unos sitios prefieren autorizar, otros filtran de forma selectiva.

¿Basta el user-agent para concluir?
No. Un user-agent puede falsificarse. Hay que cruzarlo con la IP, con el comportamiento de rastreo y con los elementos que aportan los operadores en su documentación oficial cuando existe.

¿Por qué estos bots visitan mis páginas de FAQ o mis guías?
Porque suelen ser contenidos muy estructurados, ricos en respuestas y fáciles de aprovechar para sistemas de IA o de búsqueda asistida.

¿Cómo distinguir un bot de IA de un scraper malicioso?
Un bot legítimo está documentado, es identificable por sus rangos de IP publicados y respeta el robots.txt. Un scraper malicioso puede ocultar su identidad, ignorar las reglas de acceso o multiplicar las peticiones a un ritmo anormal.

¿Qué vigilar de forma prioritaria en los logs?
El user-agent, el volumen de peticiones, los códigos de respuesta, las rutas más consultadas y la repetición de visitas a contenidos sensibles o costosos de servir.

Implantar un seguimiento útil para el SEO técnico

Más allá de la simple detección, el interés está en convertir los logs en una herramienta de pilotaje. Si GPTBot, ClaudeBot o PerplexityBot vuelven con regularidad, se puede medir:

• las páginas más solicitadas por los bots de IA;
• el impacto sobre la carga del servidor;
• las posibles diferencias entre tráfico humano y tráfico máquina;
• los efectos de una regla de robots.txt o de un bloqueo por WAF.

Esta vigilancia ayuda también a comprender mejor qué páginas van a buscar realmente los sistemas de IA. Para un editor es una información estratégica: aclara a la vez la visibilidad, el consumo máquina y la gobernanza de los contenidos.