Crawler e log

Le rubriche del blog

Su fondo arancione acceso, bande parallele blu navy si spostano verticalmente in modo irregolare, a evocare la lettura dei log e dei ritmi delle richieste, con grana marcata e punti di mezzatinta che ricordano una stampa riso.

GPTBot, ClaudeBot, PerplexityBot: leggere i log per sapere che cosa fanno davvero le IA con il vostro sito

I bot di IA non sono più visitatori marginali: percorrono il web per raccogliere, indicizzare o interrogare contenuti. Nei log del server si individuano...

11 settembre 20265 min di lettura

Bande verticali arancioni irregolari, alcune come interrotte o sfalsate, attraversano un fondo blu-verde saturo con retino e grana marcata, a evocare una sequenza di richieste analizzate e segnate da anomalie in un log.

Leggere un access log in 30 minuti: che cosa fanno davvero i robot di IA su un sito

Nessuna dashboard dice a un editore se ChatGPT, Claude o Perplexity leggono le sue pagine. La Search Console copre solo Google, e i motori...

2 settembre 20267 min di lettura

Su fondo blu scuro, una trama regolare di punti bianchi viene bruscamente interrotta al centro da un'ampia banda arancione, a evocare l'interruzione netta di un flusso di dati.

Cosa il firewall nasconde ai log: il punto cieco dei blocchi all'edge

Un responsabile di sito apre i suoi log, cerca GPTBot, ClaudeBot o PerplexityBot, non trova nulla e conclude che le IA non si interessano...

17 agosto 20265 min di lettura

Rete di linee bianche collegate da nodi gialli su fondo blu notte, a evocare la verifica incrociata e il controllo rigoroso delle connessioni, con una grana di stampa molto marcata.

Un robot è davvero quello che dice di essere? Reverse DNS e intervalli di IP pubblicati

Uno user-agent è una stringa di caratteri che qualsiasi client HTTP può dichiarare. Uno script che si presenta come «Googlebot» o «GPTBot» non è né l'uno...

24 luglio 20265 min di lettura

Tre ampie bande parallele, sfalsate e segmentate, occupano un fondo blu navy profondo, con grana marcata e difetti di stampa che evocano la sovrapposizione di più filtri o ruoli distinti.

robots.txt e IA: bloccare GPTBot non blocca ChatGPT

Nel 2023, quando OpenAI ha pubblicato il nome del suo robot di addestramento, migliaia di siti hanno aggiunto due righe al proprio file robots.txt...

6 luglio 20265 min di lettura