Crawlers en logs

De rubrieken van de blog

Op een felle oranje achtergrond verschuiven marineblauwe parallelle banden onregelmatig in verticale richting, wat het lezen van logbestanden en verzoekritmes oproept, met korrelige textuur en halftoonpunten als bij een risoprint.

Crawlers en logs

GPTBot, ClaudeBot, PerplexityBot: lees je logs om te weten wat de AI's echt met je site doen

AI-bots zijn geen marginale bezoekers meer: ze doorkruisen het web om content te verzamelen, te indexeren of te bevragen. In de serverlogs herken je...

11 september 20265 min leestijd

Onregelmatige oranje verticale banden, sommige schijnbaar onderbroken of verschoven, doorkruisen een verzadigde blauwgroene achtergrond met puntraster en grove korrel, wat een reeks geanalyseerde verzoeken met anomalieën in een logbestand oproept.

Crawlers en logs

Een access log lezen in 30 minuten: wat de AI-bots echt op je site doen

Geen enkel dashboard vertelt een uitgever of ChatGPT, Claude of Perplexity zijn pagina's lezen. Search Console dekt alleen Google, en de generatieve zoekmachines leveren...

2 september 20268 min leestijd

Op een donkerblauwe achtergrond wordt een regelmatig raster van witte stippen in het midden abrupt onderbroken door een brede oranje band, wat een scherpe onderbreking van een datastroom oproept.

Crawlers en logs

Wat de firewall voor je logs verbergt: de blinde vlek van blokkades aan de edge

Een sitebeheerder opent zijn logs, zoekt op GPTBot, ClaudeBot of PerplexityBot, vindt niets en concludeert dat de AI's geen belangstelling hebben voor zijn content...

17 augustus 20266 min leestijd

Een netwerk van witte lijnen, verbonden door gele knooppunten, op een nachtblauwe achtergrond, wat kruiscontrole en strenge controle van verbindingen oproept, met een grove gedrukte korrel.

Crawlers en logs

Is een bot echt wie hij beweert te zijn? Reverse DNS en gepubliceerde IP-reeksen

Een user-agent is een tekenreeks die elke HTTP-client kan opgeven. Een script dat zich voordoet als "Googlebot" of "GPTBot" is in onze ogen geen...

24 juli 20265 min leestijd

Drie brede parallelle banden, verschoven en gesegmenteerd, vullen een diepe marineblauwe achtergrond, met korrelige texturen en drukfouten die het stapelen van meerdere filters of afzonderlijke rollen oproepen.

Crawlers en logs

robots.txt en AI: GPTBot blokkeren blokkeert ChatGPT niet

Toen OpenAI in 2023 de naam van zijn trainingsbot publiceerde, voegden duizenden sites twee regels toe aan hun robots.txt-bestand: User-agent: GPTBot en daarna Disallow...

6 juli 20265 min leestijd