GPTBot, ClaudeBot, PerplexityBot: ler os seus logs para saber o que as IA fazem do seu site

Por que razão estes bots aparecem nos seus logs

Os bots de IA deixaram de ser visitantes marginais: percorrem a web para recolher, indexar ou interrogar conteúdos. Nos logs do servidor, identificam-se primeiro pelo seu user-agent e depois pelo comportamento: frequência dos pedidos, páginas visadas, respeito pelo ficheiro robots.txt e presença ou não de IP anunciados oficialmente pelo fornecedor.

Para um administrador ou um SEO técnico, a questão não se limita a saber quem passa: importa também o que estes robots consultam, a que ritmo, e se consomem recursos de forma invulgar. Identificar corretamente o GPTBot, o ClaudeBot e o PerplexityBot permite ajustar o acesso, documentar o tráfego de máquina e manter uma leitura fiável do desempenho do servidor.

As assinaturas mais úteis de detetar

O primeiro reflexo é inspecionar os cabeçalhos HTTP registados nos logs. Os nomes dos bots são muitas vezes explícitos no user-agent, o que facilita a deteção inicial. Os três mais correntes identificam-se assim:

• GPTBot: user-agent que contém muitas vezes a cadeia GPTBot.
• ClaudeBot: user-agent que contém ClaudeBot.
• PerplexityBot: user-agent que contém PerplexityBot.

Este método é rápido, mas não chega por si só. Um user-agent pode ser falsificado, ou ficar incompleto consoante o reverse proxy, o CDN ou a configuração do seu registo de logs. Para uma identificação fiável, cruze sempre o nome anunciado com outros indícios: IP de origem, reverse DNS, volume de crawl e coerência com as gamas de IP publicadas pelo fornecedor, quando existem.

GPTBot: o bot de treino da OpenAI

O GPTBot é o crawler da OpenAI dedicado à recolha de dados públicos destinados a melhorar os seus modelos. A OpenAI explica na sua documentação do GPTBot como bloquear este robot, através do robots.txt ou de uma regra no servidor. Nos logs, os seus pedidos incidem sobre páginas acessíveis publicamente.

Alguns pontos práticos para o identificar:

• verifique o user-agent exato nos logs em bruto;
• observe se respeita as diretivas Disallow do seu robots.txt;
• compare a cadência dos pedidos com a de um visitante humano;
• se possível, controle o IP e o PTR para confirmar a coerência.

Um crawl tecnicamente limpo não se parece com um pico súbito de tráfego de navegador. O GPTBot tem antes um perfil de recolha regular, página a página, com uma lógica de descoberta dos conteúdos próxima da dos outros crawlers web.

ClaudeBot: o crawler da Anthropic

O ClaudeBot recolhe páginas para a Anthropic, sem relação com os pedidos dos utilizadores do Claude. Também aqui o user-agent é o sinal mais direto: a cadeia ClaudeBot aparece muitas vezes nos pedidos identificados como vindos do robot. A Anthropic publicou igualmente meios de controlo na sua documentação pública, o que permite aos responsáveis de sites gerir o acesso como fariam para outros crawlers conhecidos.

Distinguir o ClaudeBot do GPTBot tem um interesse concreto: os dois não seguem os mesmos percursos de crawl. Para o seguir com eficácia:

• centralize os logs do seu servidor web e do seu CDN;
• filtre os pedidos que contêm ClaudeBot no user-agent;
• detete as sequências de pedidos sobre páginas profundas ou arquivos;
• vigie os erros 403, 404 ou os ciclos de crawl invulgares.

Um ponto importante: se bloquear o ClaudeBot, anote-o com clareza na sua documentação operacional. Assim evita confundir uma ausência de tráfego de IA com um simples problema de registo de logs.

PerplexityBot: o robot de pesquisa da Perplexity

O PerplexityBot está ligado à Perplexity e encontra-se com frequência em sites públicos. A Perplexity documenta dois robots com papéis distintos, e confundi-los falseia qualquer leitura dos logs: o PerplexityBot alimenta o índice, enquanto o Perplexity-User vai buscar uma página a pedido, quando a pergunta de um utilizador o exige. Nos logs, os seus user-agents contêm respetivamente PerplexityBot e Perplexity-User. Detalhamos esta repartição de papéis, fornecedor a fornecedor, no nosso artigo sobre robots.txt, GPTBot e ChatGPT.

Para o identificar sem ambiguidade:

• não se fique pelo nome do bot: verifique os caminhos de URL solicitados;
• veja se o robot passa de preferência por conteúdos editoriais, FAQ, páginas de ajuda ou páginas de produto;
• analise a repetição de certos URL num curto período;
• confronte os vestígios com as regras de exclusão presentes no robots.txt.

O PerplexityBot pode deixar uma pegada diferente da de um crawler clássico: menos profundidade em certas árvores técnicas, mais atenção às páginas de texto com forte valor informativo. É útil saber isto se o seu objetivo é compreender como os seus conteúdos podem ser consumidos por sistemas de resposta automatizada.

Método de verificação fiável nos seus logs

Para evitar os falsos positivos, adote um método em três níveis:

1. Identificar o user-agent exato nos logs em bruto.
2. Confirmar com o endereço IP, o reverse DNS e, se disponíveis, as gamas de IP oficiais publicadas pelo fornecedor.
3. Qualificar o comportamento: frequência, profundidade de crawl, respeito pelo robots.txt, tipos de páginas visitadas.

Uma tabela simples pode ajudar a comparar as pegadas observadas:

Se gere um ambiente Nginx, Apache ou um WAF, lembre-se de conservar os logs de acesso completos, com user-agent, IP, referer e estado HTTP. Sem isso, a deteção fica frágil.

Perguntas frequentes

É preciso bloquear estes bots por omissão?
Não necessariamente. Depende da sua estratégia editorial, das suas restrições de carga e da sua política de utilização dos conteúdos. Alguns sites preferem autorizar, outros filtram de forma seletiva.

O user-agent chega para concluir?
Não. Um user-agent pode ser falsificado. Há que cruzá-lo com o IP, o comportamento de crawl e os elementos fornecidos pela documentação oficial dos fornecedores, quando existe.

Por que visitam estes bots as minhas páginas de FAQ ou os meus guias?
Porque são muitas vezes conteúdos muito estruturados, ricos em respostas e fáceis de aproveitar por sistemas de IA ou de pesquisa assistida.

Como distinguir um bot de IA de um scraper malicioso?
Um bot legítimo está documentado, é identificável pelas suas gamas de IP publicadas e respeita o robots.txt. Um scraper malicioso pode ocultar a sua identidade, ignorar as regras de acesso ou multiplicar os pedidos a um ritmo anormal.

O que vigiar em prioridade nos logs?
O user-agent, o volume de pedidos, os códigos de resposta, os caminhos mais consultados e a repetição das visitas a conteúdos sensíveis ou dispendiosos de servir.

Montar um acompanhamento útil para o SEO técnico

Para além da simples deteção, o interesse está em transformar os seus logs numa ferramenta de pilotagem. Se o GPTBot, o ClaudeBot ou o PerplexityBot voltarem com regularidade, pode medir:

• as páginas mais pedidas pelos bots de IA;
• o impacto na carga do servidor;
• os eventuais desvios entre tráfego humano e tráfego de máquina;
• os efeitos de uma regra no robots.txt ou de um bloqueio no WAF.

Esta vigilância ajuda também a compreender melhor que páginas os sistemas de IA vão realmente procurar. Para um editor de conteúdos, é uma informação estratégica: esclarece ao mesmo tempo a visibilidade, o consumo por máquina e a governação dos conteúdos.