GPTBot, ClaudeBot, PerplexityBot: leggere i log per sapere che cosa fanno davvero le IA con il vostro sito

Perché questi bot compaiono nei vostri log

I bot di IA non sono più visitatori marginali: percorrono il web per raccogliere, indicizzare o interrogare contenuti. Nei log del server si individuano anzitutto dal loro user-agent, poi dal loro comportamento: frequenza delle richieste, pagine mirate, rispetto del file robots.txt e presenza o meno di IP annunciati ufficialmente dall'editore.

Per un amministratore o un SEO tecnico, la posta non è soltanto sapere chi passa, ma anche che cosa consultano questi robot, a quale ritmo, e se consumano risorse in modo inconsueto. Identificare correttamente GPTBot, ClaudeBot e PerplexityBot permette di regolare l'accesso, di documentare il traffico macchina e di conservare una lettura affidabile delle prestazioni del server.

Le firme più utili da individuare

Il primo riflesso consiste nell'ispezionare le intestazioni HTTP registrate nei log. I nomi dei bot sono spesso espliciti nello user-agent, il che facilita il rilevamento iniziale. I tre più comuni si individuano così:

• GPTBot: user-agent che contiene spesso la stringa GPTBot.
• ClaudeBot: user-agent che contiene ClaudeBot.
• PerplexityBot: user-agent che contiene PerplexityBot.

Questo metodo è rapido, ma da solo non basta. Uno user-agent può essere falsificato, oppure incompleto a seconda del reverse proxy, del CDN o della configurazione della vostra registrazione dei log. Per un'identificazione affidabile, incrociate sempre il nome dichiarato con altri indizi: IP di origine, reverse DNS, volume di crawl e coerenza con gli intervalli pubblicati dal fornitore quando questi esistono.

GPTBot: il bot di addestramento di OpenAI

GPTBot è il crawler di OpenAI dedicato alla raccolta di dati pubblici destinati a migliorare i suoi modelli. OpenAI spiega nella sua documentazione GPTBot come bloccare questo robot, tramite robots.txt o una regola lato server. Nei log, le sue richieste riguardano pagine accessibili pubblicamente.

Qualche punto pratico per identificarlo:

• verificate lo user-agent esatto nei log grezzi;
• osservate se rispetta le direttive Disallow del vostro robots.txt;
• confrontate la cadenza delle richieste con quella di un visitatore umano;
• se possibile, controllate l'IP e il PTR per confermare la coerenza.

Un crawl tecnicamente pulito non assomiglia a un picco improvviso di traffico da browser. GPTBot ha piuttosto un profilo di raccolta regolare, pagina per pagina, con una logica di scoperta dei contenuti vicina a quella degli altri crawler web.

ClaudeBot: il crawler di Anthropic

ClaudeBot raccoglie pagine per Anthropic, senza rapporto con le richieste degli utenti di Claude. Anche qui lo user-agent è il segnale più diretto: la stringa ClaudeBot compare spesso nelle richieste identificate come provenienti dal robot. Anthropic ha pubblicato anche strumenti di controllo nella sua documentazione pubblica, il che permette ai responsabili di un sito di gestire l'accesso come farebbero per altri crawler noti.

Distinguere ClaudeBot da GPTBot ha un interesse concreto: i due non seguono gli stessi percorsi di crawl. Per tracciarlo in modo efficace:

• centralizzate i log del vostro server web e del vostro CDN;
• filtrate le richieste che contengono ClaudeBot nello user-agent;
• individuate le sequenze di hit su pagine profonde o su archivi;
• sorvegliate gli errori 403, 404 o i cicli di crawl inconsueti.

Un punto importante: se bloccate ClaudeBot, annotatelo con chiarezza nella vostra documentazione di esercizio. Questo evita di confondere un'assenza di traffico IA con un semplice problema di registrazione dei log.

PerplexityBot: il robot di ricerca di Perplexity

PerplexityBot è legato a Perplexity e si incontra di frequente sui siti pubblici. Perplexity documenta due robot con ruoli distinti, e confonderli falsa qualsiasi lettura dei log: PerplexityBot alimenta l'indice, mentre Perplexity-User va a prendere una pagina su richiesta, quando la domanda di un utente lo esige. Nei log i loro user-agent contengono rispettivamente PerplexityBot e Perplexity-User. Dettagliamo questa ripartizione dei ruoli, fornitore per fornitore, nel nostro articolo su robots.txt, GPTBot e ChatGPT.

Per identificarlo senza ambiguità:

• non limitatevi al nome del bot: verificate i percorsi di URL sollecitati;
• guardate se il robot passa più volentieri su contenuti editoriali, FAQ, pagine di aiuto o schede prodotto;
• analizzate la ripetizione di certe URL in un periodo breve;
• confrontate le tracce con le regole di esclusione presenti nel robots.txt.

PerplexityBot può lasciare un'impronta diversa da quella di un crawler classico: meno profondità su certe strutture tecniche, più attenzione alle pagine testuali ad alto valore informativo. È utile saperlo se il vostro obiettivo è capire come i vostri contenuti possono essere consumati da sistemi di risposta automatizzata.

Metodo di verifica affidabile nei vostri log

Per evitare i falsi positivi, adottate un metodo su tre livelli:

1. Identificare lo user-agent esatto nei log grezzi.
2. Confermare con l'indirizzo IP, il reverse DNS e, se disponibili, gli intervalli ufficiali pubblicati dall'editore.
3. Qualificare il comportamento: frequenza, profondità di crawl, rispetto del robots.txt, tipi di pagine visitate.

Una tabella semplice può aiutare a confrontare le impronte osservate:

Se gestite un ambiente Nginx, Apache o un WAF, ricordatevi di conservare i log di accesso completi con user-agent, IP, referer e stato HTTP. Senza questo, il rilevamento resta fragile.

Domande frequenti

Bisogna bloccare questi bot per impostazione predefinita?
Non necessariamente. Dipende dalla vostra strategia editoriale, dai vostri vincoli di carico e dalla vostra politica d'uso dei contenuti. Alcuni siti preferiscono autorizzare, altri filtrano in modo selettivo.

Lo user-agent basta per concludere?
No. Uno user-agent può essere falsificato. Va incrociato con l'IP, il comportamento di crawl e gli elementi forniti dalla documentazione ufficiale degli editori quando esiste.

Perché questi bot visitano le mie pagine FAQ o le mie guide?
Perché sono spesso contenuti molto strutturati, ricchi di risposte e facili da sfruttare per sistemi di IA o di ricerca assistita.

Come distinguere un bot di IA da uno scraper malevolo?
Un bot legittimo è documentato, identificabile dagli intervalli di IP pubblicati, e rispetta il robots.txt. Uno scraper malevolo può nascondere la propria identità, ignorare le regole di accesso o moltiplicare le richieste a un ritmo anomalo.

Che cosa sorvegliare in via prioritaria nei log?
Lo user-agent, il volume di richieste, i codici di risposta, i percorsi più consultati e la ripetizione delle visite su contenuti sensibili o costosi da servire.

Mettere in piedi un monitoraggio utile per la SEO tecnica

Oltre al semplice rilevamento, l'interesse sta nel trasformare i vostri log in uno strumento di governo. Se GPTBot, ClaudeBot o PerplexityBot tornano con regolarità, potete misurare:

• le pagine più richieste dai bot di IA;
• l'impatto sul carico del server;
• gli eventuali scarti tra traffico umano e traffico macchina;
• gli effetti di una regola robots.txt o di un blocco WAF.

Questa sorveglianza aiuta anche a capire meglio quali pagine i sistemi di IA vanno davvero a cercare. Per un editore è un'informazione strategica: illumina insieme la visibilità, il consumo macchina e la governance dei contenuti.