Crawlers et logs

Les rubriques du blog

Sur fond orange vif, des bandes parallèles bleu marine se décalent verticalement de façon irrégulière, évoquant la lecture de logs et la lecture de rythmes de requêtes, avec une texture granuleuse et des points en demi-teinte rappelant une impression riso

Crawlers et logs

GPTBot, ClaudeBot, PerplexityBot : lire vos logs pour savoir ce que les IA font vraiment de votre site

Les bots d'IA ne sont plus des visiteurs marginaux : ils parcourent le web pour collecter, indexer ou interroger des contenus. Dans les logs serveur...

11 septembre 20266 min de lecture

Des bandes verticales orange irrégulières, certaines comme interrompues ou décalées, traversent un fond bleu-vert saturé avec une texture de trame et un fort grain, évoquant l’idée d’une séquence de requêtes analysées et marquées par des anomalies dans un

Crawlers et logs

Lire un access log en 30 minutes : ce que les robots d'IA font vraiment sur votre site

Aucun tableau de bord ne dit à un éditeur si ChatGPT, Claude ou Perplexity lisent ses pages. La Search Console ne couvre que Google, et...

2 septembre 20268 min de lecture

Sur un fond bleu foncé, une trame régulière de points blancs se trouve brusquement interrompue en son centre par une large bande orange, évoquant une interruption nette d’un flux de données.

Crawlers et logs

Ce que le pare-feu cache à vos logs : l'angle mort des blocages en edge

Un responsable de site ouvre ses logs, cherche GPTBot, ClaudeBot ou PerplexityBot, ne trouve rien, et conclut que les IA ne s'intéressent pas...

17 août 20266 min de lecture

Réseau de lignes blanches reliées par des nœuds jaunes sur fond bleu nuit, évoquant l’idée d’une vérification croisée et d’un contrôle rigoureux des connexions, avec une grande texture de grain imprimé.

Crawlers et logs

Un robot est-il bien celui qu'il prétend être ? Reverse DNS et plages d'IP publiées

Un user-agent est une chaîne de caractères que n'importe quel client HTTP peut déclarer. Un script qui se présente comme...

24 juillet 20266 min de lecture

Trois larges bandes parallèles, décalées et segmentées, occupent un fond bleu marine profond, avec des textures granuleuses et des défauts d’impression qui évoquent la superposition de plusieurs filtres ou rôles distincts.

Crawlers et logs

robots.txt et IA : bloquer GPTBot ne bloque pas ChatGPT

En 2023, quand OpenAI a publié le nom de son robot d'entraînement, des milliers de sites ont ajouté deux lignes à leur fichier robots.txt...

6 juillet 20266 min de lecture