Crawlers y logs

Las secciones del blog

Sobre fondo naranja vivo, bandas paralelas azul marino se desplazan verticalmente de forma irregular, evocando la lectura de registros y de ritmos de peticiones, con textura granulada y puntos de semitono que recuerdan una impresión riso.

Crawlers y logs

GPTBot, ClaudeBot, PerplexityBot: leer los logs para saber qué hacen realmente las IA con un sitio

Los bots de IA ya no son visitantes marginales: recorren la web para recopilar, indexar o consultar contenidos. En los logs del servidor se...

11 de septiembre de 20266 min de lectura

Bandas verticales naranjas irregulares, algunas como interrumpidas o desplazadas, atraviesan un fondo azul verdoso saturado con trama y fuerte grano, evocando una secuencia de peticiones analizadas y marcadas por anomalías en un registro.

Crawlers y logs

Leer un access log en 30 minutos: lo que los robots de IA hacen de verdad en su sitio

Ningún panel le dice a un editor si ChatGPT, Claude o Perplexity leen sus páginas. Search Console solo cubre Google, y los...

2 de septiembre de 20268 min de lectura

Sobre un fondo azul oscuro, una trama regular de puntos blancos se interrumpe bruscamente en su centro por una ancha banda naranja, evocando un corte neto en un flujo de datos.

Crawlers y logs

Lo que el cortafuegos oculta a sus logs: el punto ciego de los bloqueos en el edge

Un responsable de sitio abre sus logs, busca GPTBot, ClaudeBot o PerplexityBot, no encuentra nada y concluye que las IA no se interesan por...

17 de agosto de 20266 min de lectura

Red de líneas blancas unidas por nodos amarillos sobre fondo azul noche, evocando la verificación cruzada y el control riguroso de las conexiones, con una fuerte textura de grano impreso.

Crawlers y logs

¿Es un robot quien dice ser? Reverse DNS y rangos de IP publicados

Un user-agent es una cadena de caracteres que cualquier cliente HTTP puede declarar. Un script que se presenta como «Googlebot» o «GPTBot» no es...

24 de julio de 20266 min de lectura

Tres anchas bandas paralelas, desplazadas y segmentadas, ocupan un fondo azul marino profundo, con texturas granuladas y defectos de impresión que evocan la superposición de varios filtros o roles distintos.

Crawlers y logs

robots.txt e IA: bloquear GPTBot no bloquea ChatGPT

En 2023, cuando OpenAI publicó el nombre de su robot de entrenamiento, miles de sitios añadieron dos líneas a su fichero robots.txt...

6 de julio de 20266 min de lectura