Crawler und Logs

Die Rubriken des Blogs

Auf leuchtend orangefarbenem Grund verschieben sich marineblaue Parallelbänder unregelmäßig in der Vertikalen, ein Bild für das Lesen von Logs und Anfragerhythmen, mit körniger Textur und Halbtonpunkten wie bei einem Risographie-Druck.

Crawler und Logs

GPTBot, ClaudeBot, PerplexityBot: in Ihren Logs lesen, was KI-Dienste wirklich mit Ihrer Website machen

KI-Bots sind keine Randbesucher mehr: Sie durchstreifen das Web, um Inhalte zu sammeln, zu indexieren oder abzufragen. In den Server-Logs erkennt man sie zuerst...

11. September 20265 Min. Lesezeit

Unregelmäßige orangefarbene vertikale Bänder, manche scheinbar unterbrochen oder versetzt, durchziehen einen satten blaugrünen Grund mit Punktraster und grober Körnung, ein Bild für eine Folge analysierter Anfragen mit Anomalien in einem Log.

Crawler und Logs

Ein Access-Log in 30 Minuten lesen: was die KI-Bots wirklich auf Ihrer Website tun

Kein Dashboard sagt einem Herausgeber, ob ChatGPT, Claude oder Perplexity seine Seiten lesen. Die Search Console deckt nur Google ab, und die generativen Suchmaschinen...

2. September 20267 Min. Lesezeit

Auf dunkelblauem Grund wird ein regelmäßiges Raster weißer Punkte in der Mitte abrupt von einem breiten orangefarbenen Band unterbrochen, ein Sinnbild für den klaren Abbruch eines Datenflusses.

Crawler und Logs

Was die Firewall vor Ihren Logs verbirgt: der blinde Fleck der Blockaden am Edge

Ein Website-Verantwortlicher öffnet seine Logs, sucht nach GPTBot, ClaudeBot oder PerplexityBot, findet nichts und schließt daraus, dass sich die KI-Dienste nicht für...

17. August 20265 Min. Lesezeit

Ein Netz weißer Linien, durch gelbe Knoten verbunden, auf nachtblauem Grund, ein Bild für Gegenprüfung und strenge Kontrolle der Verbindungen, mit grober Druckkörnung.

Crawler und Logs

Ist ein Bot wirklich der, für den er sich ausgibt? Reverse DNS und veröffentlichte IP-Bereiche

Ein User-Agent ist eine Zeichenkette, die jeder HTTP-Client angeben kann. Ein Skript, das sich als „Googlebot“ oder „GPTBot“ ausgibt, ist für uns weder...

24. Juli 20265 Min. Lesezeit

Drei breite, versetzte und segmentierte Parallelbänder füllen einen tiefen marineblauen Grund, mit körnigen Texturen und Druckfehlern, die das Übereinanderlegen mehrerer Filter oder unterschiedlicher Rollen andeuten.

Crawler und Logs

robots.txt und KI: GPTBot zu sperren sperrt ChatGPT nicht

Als OpenAI 2023 den Namen seines Trainings-Bots veröffentlichte, fügten Tausende Websites zwei Zeilen in ihre robots.txt ein: User-agent: GPTBot und dann Disallow...

6. Juli 20265 Min. Lesezeit