GPTBot, ClaudeBot, PerplexityBot: lees je logs om te weten wat de AI's echt met je site doen

Waarom deze bots in je logs opduiken

AI-bots zijn geen marginale bezoekers meer: ze doorkruisen het web om content te verzamelen, te indexeren of te bevragen. In de serverlogs herken je ze eerst aan hun user-agent, daarna aan hun gedrag: de frequentie van de requests, de pagina's waar ze op mikken, de naleving van het bestand robots.txt en het al dan niet aanwezig zijn van IP-adressen die de aanbieder officieel heeft aangekondigd.

Voor een beheerder of een technisch SEO-specialist gaat het er niet alleen om te weten wie er langskomt, maar ook wat die bots raadplegen, in welk tempo, en of ze op een ongebruikelijke manier resources verbruiken. GPTBot, ClaudeBot en PerplexityBot correct identificeren maakt het mogelijk om de toegang bij te stellen, het machineverkeer te documenteren en een betrouwbaar beeld van de serverprestaties te behouden.

De handtekeningen die het nuttigst zijn om te herkennen

De eerste reflex is om de HTTP-headers te inspecteren die in de logs zijn vastgelegd. De namen van de bots staan vaak onverbloemd in de user-agent, wat de eerste detectie vergemakkelijkt. De drie meest voorkomende herken je zo:

• GPTBot: een user-agent die vaak de tekenreeks GPTBot bevat.
• ClaudeBot: een user-agent die ClaudeBot bevat.
• PerplexityBot: een user-agent die PerplexityBot bevat.

Die methode is snel, maar op zichzelf volstaat ze niet. Een user-agent kan vervalst zijn, of onvolledig afhankelijk van de reverse proxy, het CDN of de instelling van je logging. Voor een betrouwbare identificatie kruis je de opgegeven naam altijd met andere aanwijzingen: het bron-IP, de reverse DNS, het crawlvolume, en de overeenstemming met de door de aanbieder gepubliceerde reeksen als die bestaan.

GPTBot: de trainingsbot van OpenAI

GPTBot is de crawler van OpenAI die publieke data verzamelt om de modellen te verbeteren. OpenAI legt in zijn GPTBot-documentatie uit hoe je deze bot blokkeert, via robots.txt of een serverregel. In de logs slaan zijn requests op publiek toegankelijke pagina's.

Een paar praktische punten om hem te identificeren:

• controleer de exacte user-agent in de ruwe logs;
• kijk of hij de Disallow-richtlijnen van je robots.txt naleeft;
• vergelijk het tempo van de requests met dat van een menselijke bezoeker;
• controleer indien mogelijk het IP en de PTR om de samenhang te bevestigen.

Een technisch schone crawl lijkt niet op een plotselinge piek in browserverkeer. GPTBot heeft eerder het profiel van een regelmatige verzameling, pagina voor pagina, met een ontdekkingslogica die dicht bij die van de andere webcrawlers ligt.

ClaudeBot: de crawler van Anthropic

ClaudeBot verzamelt pagina's voor Anthropic, los van de vragen van de gebruikers van Claude. Ook hier is de user-agent het meest directe signaal: de tekenreeks ClaudeBot verschijnt vaak in de requests die als afkomstig van de bot zijn aangemerkt. Anthropic heeft ook controlemiddelen gepubliceerd in zijn openbare documentatie, waardoor sitebeheerders de toegang kunnen regelen zoals ze dat voor andere bekende crawlers zouden doen.

ClaudeBot van GPTBot onderscheiden heeft een concreet nut: de twee volgen niet dezelfde crawlroutes. Om hem doeltreffend te volgen:

• centraliseer de logs van je webserver en van je CDN;
• filter de requests waarvan de user-agent ClaudeBot bevat;
• spoor reeksen hits op diepe pagina's of archieven op;
• let op 403- en 404-fouten of ongebruikelijke crawlloops.

Een belangrijk punt: blokkeer je ClaudeBot, noteer dat dan duidelijk in je beheerdocumentatie. Zo verwar je het ontbreken van AI-verkeer niet met een eenvoudig loggingprobleem.

PerplexityBot: de zoekbot van Perplexity

PerplexityBot hoort bij Perplexity en komt veelvuldig voor op publieke sites. Perplexity documenteert twee bots met verschillende rollen, en ze verwarren vertekent elke lezing van de logs: PerplexityBot voedt de index, terwijl Perplexity-User een pagina op verzoek ophaalt, wanneer de vraag van een gebruiker daarom vraagt. In de logs bevatten hun user-agents respectievelijk PerplexityBot en Perplexity-User. Die rolverdeling werken we, aanbieder per aanbieder, uit in ons artikel over robots.txt, GPTBot en ChatGPT.

Om hem ondubbelzinnig te identificeren:

• beperk je niet tot de naam van de bot: controleer de URL-paden die worden opgevraagd;
• kijk of de bot liever langs redactionele content, FAQ's, helppagina's of productpagina's gaat;
• analyseer de herhaling van bepaalde URL's binnen een korte periode;
• leg de sporen naast de uitsluitingsregels in robots.txt.

PerplexityBot kan een ander spoor achterlaten dan een klassieke crawler: minder diepgang in bepaalde technische boomstructuren, meer aandacht voor tekstpagina's met hoge informatiewaarde. Dat is nuttig om te weten als je wilt begrijpen hoe je content door geautomatiseerde antwoordsystemen kan worden verwerkt.

Een betrouwbare verificatiemethode in je logs

Om valse positieven te vermijden hanteer je een methode met drie niveaus:

1. Identificeren: de exacte user-agent in de ruwe logs.
2. Bevestigen met het IP-adres, de reverse DNS en, als die beschikbaar zijn, de officiële reeksen die de aanbieder publiceert.
3. Kwalificeren van het gedrag: frequentie, crawldiepte, naleving van robots.txt, types bezochte pagina's.

Een eenvoudige tabel helpt om de waargenomen sporen te vergelijken:

Draai je een Nginx- of Apache-omgeving of een WAF, denk er dan aan om de volledige access logs te bewaren met user-agent, IP, referer en HTTP-status. Zonder dat blijft de detectie fragiel.

Veelgestelde vragen

Moet je deze bots standaard blokkeren?
Niet noodzakelijk. Dat hangt af van je redactionele strategie, je beperkingen qua belasting en je beleid rond het gebruik van content. Sommige sites laten liever alles toe, andere filteren selectief.

Volstaat de user-agent om te besluiten?
Nee. Een user-agent kan vervalst zijn. Je moet hem kruisen met het IP, met het crawlgedrag en met de gegevens uit de officiële documentatie van de aanbieders als die bestaat.

Waarom bezoeken deze bots mijn FAQ-pagina's of mijn gidsen?
Omdat dat vaak sterk gestructureerde content is, rijk aan antwoorden en makkelijk te benutten voor AI-systemen of ondersteund zoeken.

Hoe onderscheid je een AI-bot van een kwaadwillige scraper?
Een legitieme bot is gedocumenteerd, herkenbaar aan zijn gepubliceerde IP-reeksen, en respecteert robots.txt. Een kwaadwillige scraper kan zijn identiteit verbergen, de toegangsregels negeren of de requests in een abnormaal tempo opvoeren.

Wat moet je in de logs met voorrang volgen?
De user-agent, het aantal requests, de responscodes, de meest geraadpleegde paden en de herhaling van bezoeken aan gevoelige of dure content om te serveren.

Een nuttige monitoring opzetten voor technische SEO

Detectie is pas het begin: het nut zit erin dat je je logs in een stuurinstrument verandert. Komen GPTBot, ClaudeBot of PerplexityBot regelmatig terug, dan kun je meten:

• welke pagina's de AI-bots het meest opvragen;
• de impact op de serverbelasting;
• de eventuele verschillen tussen menselijk verkeer en machineverkeer;
• de effecten van een robots.txt-regel of van een blokkade in de WAF.

Die monitoring helpt ook om beter te begrijpen welke pagina's de AI-systemen echt gaan ophalen. Voor een uitgever is dat strategische informatie: ze werpt licht op de zichtbaarheid, het machineverbruik en de governance van de content tegelijk.