Crawlers e logs

As rubricas do blogue

Sobre fundo laranja vivo, faixas paralelas azul-marinho deslocam-se verticalmente de forma irregular, evocando a leitura de registos e de ritmos de pedidos, com textura granulada e pontos de meio-tom que lembram uma impressão riso.

Crawlers e logs

GPTBot, ClaudeBot, PerplexityBot: ler os seus logs para saber o que as IA fazem do seu site

Os bots de IA deixaram de ser visitantes marginais: percorrem a web para recolher, indexar ou interrogar conteúdos. Nos logs do servidor, identificam-se...

11 de setembro de 20266 min de leitura

Faixas verticais laranja irregulares, algumas como que interrompidas ou desalinhadas, atravessam um fundo azul-esverdeado saturado com trama e forte grão, evocando uma sequência de pedidos analisados e marcados por anomalias num registo.

Crawlers e logs

Ler um access log em 30 minutos: o que os robots de IA fazem realmente no seu site

Nenhum painel diz a um editor se o ChatGPT, o Claude ou a Perplexity leem as suas páginas. A Search Console só cobre...

2 de setembro de 20268 min de leitura

Sobre um fundo azul-escuro, uma trama regular de pontos brancos é bruscamente interrompida no centro por uma larga faixa laranja, evocando um corte nítido num fluxo de dados.

Crawlers e logs

O que a firewall esconde dos seus logs: o ponto cego dos bloqueios em edge

Um responsável de site abre os seus logs, procura GPTBot, ClaudeBot ou PerplexityBot, não encontra nada e conclui que as IA n...

17 de agosto de 20266 min de leitura

Rede de linhas brancas ligadas por nós amarelos sobre fundo azul-noite, evocando a verificação cruzada e o controlo rigoroso das ligações, com uma forte textura de grão impresso.

Crawlers e logs

Um robot é mesmo quem diz ser? Reverse DNS e gamas de IP publicadas

Um user-agent é uma cadeia de caracteres que qualquer cliente HTTP pode declarar. Um script que se apresenta como «Googlebot» ou «GPTBot» não é nem...

24 de julho de 20266 min de leitura

Três largas faixas paralelas, desalinhadas e segmentadas, ocupam um fundo azul-marinho profundo, com texturas granuladas e defeitos de impressão que evocam a sobreposição de vários filtros ou papéis distintos.

Crawlers e logs

robots.txt e IA: bloquear o GPTBot não bloqueia o ChatGPT

Em 2023, quando a OpenAI publicou o nome do seu robot de treino, milhares de sites acrescentaram duas linhas ao ficheiro robots.txt: User-agent: GPTBot...

6 de julho de 20266 min de leitura