Wir haben die KI-Crawler beobachtet: Eine 17-tägige Protokollstudie (2026)

Ein Wort zur Finanzierung: CypherpunkGuide trägt keine Überwachungswerbung — keine Werbenetzwerke, keine Tracking-Pixel, keine gesponserten Inhalte. Die Finanzierung ist transparent: heute Leserspenden, später ein Abo und redaktionell passende Affiliate-Partnerschaften. Wir sind unseren Leserinnen und Lesern verpflichtet, nicht den Werbetreibenden.

Jede Anleitung, KI-Modelle aus dem eigenen Geschriebenen herauszuhalten, endet bei denselben drei Hebeln: den Namen des Crawlers in die robots.txt eintragen (die Datei, die Bots höflich bittet, was sie nicht besuchen sollen), eine llms.txt veröffentlichen (eine neuere, KI-spezifische Fassung derselben Idee) oder dem Hoster sagen, er solle „GPTBot blockieren". Alle drei setzen dasselbe voraus — dass der Bot, der an deine Tür klopft, auch der ist, für den ihn sein User-Agent ausgibt. Ein User-Agent ist bloß eine Textzeile, die ein Programm sendet, um sich zu melden; sie ist getippt, nicht bewiesen, und tippen kann jeder alles.

Also haben wir aufgehört zu theoretisieren und hingeschaut. 17 Tage lang — vom 19. Juni bis zum 5. Juli 2026 — haben wir jeden KI-Crawler festgehalten, der sich selbst zu erkennen gab und diese Seite berührte: 1.635 Anfragen über 14 verschiedene kommerzielle KI-User-Agents hinweg, von ClaudeBot und GPTBot bis zu Namen, die die meisten Seitenbetreiber nie zu Gesicht bekommen. Dann kam der Schritt, den die Ratgeber auslassen: Wir haben die echte Herkunftsadresse jeder Anfrage gegen die Adressliste geprüft, die die genannte Firma selbst veröffentlicht. Das Ergebnis zerfällt sauber in drei Gruppen, und nur eine davon ist eine gute Nachricht. Das ist die Messung hinter einem Versprechen, das wir früher gegeben haben — dass wir die Crawler-Protokolle dieser Seite im Blick behalten —, und der empirische Boden unter der Einhegung des offenen Webs, für die wir anderswo argumentiert haben.

Der unbequeme Befund ist nicht, dass KI-Crawler lügen. Er ist, dass ausgerechnet jene, die du am dringendsten stoppen willst, für deine Werkzeuge unerreichbar sind — denn das ganze Opt-out-Regime greift nur, wenn ein Crawler zugleich ehrlich genug ist, zu gehorchen und transparent genug, um überprüft zu werden. Was die 17-Tage-Protokolle einer einzigen kleinen Seite darüber verraten, wer was ist, steht im Folgenden.

Was wir gemessen haben — und wie du es nachstellst

#

Wir haben 17 zusammenhängende Tage lang Edge-Logs gesammelt, jede Anfrage nach ihrer User-Agent-Zeichenkette gruppiert und die 14 behalten, die ein kommerzielles KI-System benennen. Das ist die bloße Behauptung — ein Bot sagte: „Ich bin GPTBot." Die Verifizierung ist eine eigene, schwierigere Frage, und sie hat eine objektive Antwort: Fällt die Herkunfts-IP der Anfrage in den Adressbereich, den OpenAI, Anthropic, Google oder Amazon für den eigenen Crawler veröffentlicht? Jeder große Betreiber stellt diese Liste genau deshalb bereit, damit Server einen echten Bot von einem Hochstapler unterscheiden können.

Die 1.635 Treffer ordneten sich zu einer scharfen Hierarchie. Die vollständige Zählung je Agent liegt diesem Artikel als Klartext-Zusammenfassung bei — nur aggregierte Summen, keine Besucherdaten, Crawler-Netze benannt allein auf /24-Ebene — wobei ein /24 ein Block von 256 aufeinanderfolgenden IP-Adressen ist, die kleinste Einheit, in der solche Netze vergeben werden (Verifizierungs-Zusammenfassung).

Sieben weitere Agenten mit geringem Volumen — noch einmal 101 Anfragen — vervollständigen die 14; die ganze Liste steht in der Zusammenfassungsdatei.

Eine verifizierte Anfrage ist eine, für deren Herkunfts-IP die genannte Firma geradesteht. Die Prozentwerte sind nach Anzahl der Anfragen gewichtet, und wo das Volumen eines Bots klein ist, sagen wir es unumwunden — die „21 %" von PerplexityBot sind 5 Treffer von 24, zu dünn, um ein Unternehmen anzuklagen, und so behandeln wir sie unten auch. Zwei Vorbehalte binden jede Zahl hier: Dies ist eine einzige neue, verkehrsarme Seite über 17 Tage, nicht das ganze Web; und eine veröffentlichte Adressliste ist nur so aktuell wie ihr Datum — die von Perplexity ist 17 Monate alt, worauf wir zurückkommen.

Die deklarierten Crawler sind meist echt

#

Beginnen wir mit der guten Nachricht, denn sie ist echt und sie zählt: Wenn der Crawler eines großen Labors sich zu erkennen gibt, sagt er fast immer die Wahrheit. GPTBot verifizierte zu 97 %, ClaudeBot zu 99 % und GoogleOther zu 100 % gegen die veröffentlichten Adressbereiche der jeweiligen Firma. Die überwältigende Mehrheit des „GPTBot"- und „ClaudeBot"-Verkehrs stammte tatsächlich aus der Infrastruktur von OpenAI und Anthropic. Eine Warnung für alle, die hier gezielt dem KI-Training widersprechen wollen: GoogleOther ist ein Allzweck-Crawler von Google, ein anderes Token als Google-Extended — das eigentliche Token, das über das Gemini-Training bestimmt —, und jeder Google-Extended-Treffer, den wir protokollierten, kam aus dem Fälscher-Cluster weiter unten, nicht von Google.

Das ist der Punkt, den die zynische Lesart verfehlt. Trägst du GPTBot in deine robots.txt ein oder blockierst du Anthropics Bereiche an deinem Edge, dann stoppst du den echten GPTBot und den echten ClaudeBot wirklich — sie veröffentlichen ihre Adressen (OpenAI, Anthropic), sie respektieren die Datei, und unabhängige, netzweite Daten bestätigen, dass die großen deklarierten Crawler die dominierenden Akteure sind — auch wenn sich ihre jeweiligen Anteile von Jahr zu Jahr verschieben (Cloudflare, 2025). Der ehrliche Crawler ist ein gelöstes Problem. Verhielte sich jeder KI-Bot wie GoogleOther — benannt, mit Bereich, überprüfbar —, wäre dieser Artikel eine Fußnote.

Ein deklarierter Crawler sperrt sich gegen diese saubere Einteilung, und die Ehrlichkeit gebietet, ihn zu nennen. Nur 5 unserer 24 PerplexityBot-Treffer lagen in Perplexitys veröffentlichtem Bereich — doch 24 Treffer sind viel zu dünn, um eine Firma daran zu messen, und Perplexitys Liste ist selbst 17 Monate alt, sodass ein Fehltreffer nicht mehr bedeuten muss als eine veraltete Datei. Im Hintergrund läuft ein offener Streit: Cloudflare berichtete im August 2025, Perplexity habe heimliche, nicht deklarierte Crawler eingesetzt, um an No-Crawl-Regeln vorbeizuschlüpfen (Cloudflare, 2025), und Perplexity wies diese Darstellung öffentlich zurück (Perplexity, 2025): Ein durch einen Nutzer angestoßener „Agent", der eine Seite auf Anfrage abruft, sei nicht dasselbe wie ein vorausschauender „Bot", und Cloudflare habe ihm den Verkehr eines fremden Cloud-Browser-Dienstes fälschlich zugeschrieben. Aus einer IP-Adresse allein können wir einen fremden Hochstapler nicht von einem firmeneigenen, nicht deklarierten Abrufer unterscheiden — also schließen wir aus 24 Treffern nichts über Perplexity und vermerken es schlicht als den deklarierten Crawler, den unsere Prüfungen am schlechtesten verifizieren.

Die Zahl, die uns nicht losließ, ist eine andere, schärfere: der winzige Rest unter den Crawlern, die sich doch verifizierten. Die 7 nicht verifizierten Treffer von ClaudeBot und die 9 von GPTBot waren kein zufälliges Rauschen. Jeder einzelne führte an denselben Ort zurück — einen Ort, der weder den einen noch den anderen Namen zu Recht führte.

Ein Netz trug vierzehn Gesichter

#

Hier ist der Befund, der dem Artikel seinen Namen gab. Vier dieser Adressblöcke — vier /24 — lagen vollständig außerhalb des veröffentlichten Bereichs jeder Firma, und in 17 Tagen brachten allein diese vier Blöcke 99 Anfragen hervor, die die User-Agents von 14 verschiedenen KI-Firmen trugen. Ein einziges /24 — 185.213.174.0/24 — gab sich im Alleingang als alle vierzehn aus: GPTBot, ClaudeBot, PerplexityBot, Amazonbot, Google-Extended, Bytespider, cohere-ai und sieben weitere, alle aus einem kleinen Netz.

Nun stell das neben einen legitimen Bereich. Zwei benachbarte Anthropic-Blöcke — 216.73.216.0/24 (281 Anfragen) und sein Nachbar 216.73.217.0/24 (265) — sandten zusammen 546 Anfragen, und jede einzelne sagte ClaudeBot: eine Instanz, eine Identität, welchen Block du auch prüfst. Schlag nach, wem jedes Netz gehört, und der Kontrast bringt den Gedanken zu Ende. Die Eigentümerschaft stammt aus RDAP, dem öffentlichen Register, das eine IP der Organisation zuordnet, der sie zugeteilt wurde:

Die legitimen Blöcke liegen in Anthropics eigenem veröffentlichtem Bereich — und der, den wir per RDAP auflösten, kommt als Anthropic, PBC zurück. Die nachahmenden Subnetze sind auf kommerzielle Hosting-Firmen registriert — Infrastruktur, die jeder stundenweise mieten kann —, und zwei der vier führen zur selben gemieteten Firma, die Signatur eines einzelnen Betreibers mit einer einzigen Kostümkiste. Ein echter Crawler trägt eine Identität, weil er eine Instanz ist. Ein Fälscher trägt alle Gesichter, weil das Gesicht der billige Teil ist. Der User-Agent ist kein Ausweis; er ist ein Kostüm, und die robots.txt ist ein Schild, das nur der Kostümierte lesen kann, wenn er will.

Amazonbot — Der Bot, den du nicht von einem gemieteten Server unterscheiden kannst

#

Bei Amazonbot wird die Verifizierung richtig schwer, und gerade das ist lehrreich, weil Amazon sich nicht versteckt. Die Firma veröffentlicht wie die anderen eine Crawler-Adressliste — und doch passten nur 35 % unserer 344 „Amazonbot"-Treffer (120 davon) dazu. Die übrigen 65 % — 224 Anfragen von 179 verschiedenen Adressen — tauchten auf Amazons Liste überhaupt nicht auf.

Der Grund ist struktureller Natur. Amazons echter Crawler läuft in derselben Cloud — AWS EC2, also den Cloud-Servern, die Amazon an jeden vermietet —, sodass ein Hochstapler auf EC2 auf der Netzebene der echten Sache ziemlich ähnlich sieht. Amazons eigene Antwort darauf ist eine zweite Prüfung: ein Reverse-DNS-Test (FCrDNS — prüfen, ob der Hostname der IP in beide Richtungen auf einen offiziellen crawl.amazonbot.amazon-Host auflöst). Wir haben ihn an einer Stichprobe von 18 der nicht zugeordneten Adressen laufen lassen. Alle 18 lösten sich zu generischen ec2-*.compute-1.amazonaws.com-Hosts auf — gewöhnlichen gemieteten Servern — und keine einzige zu Amazons Crawler-Domain (Amazons Verifizierungsmethode). Es waren keine neuen, ungelisteten Amazon-IPs; sie bestanden Amazons eigenen Test nicht, echt Amazon zu sein.

Die Lehre reicht über einen einzelnen Bot hinaus: Ein Crawler, der in gemieteter Cloud läuft, ist am leichtesten zu fälschen, weil der Fälscher dieselbe Cloud mietet. Die Verifizierung darf dort nicht bei einer Adressliste haltmachen — sie braucht einen kryptografischen oder DNS-verankerten Nachweis, über den der Betreiber verfügt. Amazon bietet immerhin einen. Manche bieten gar nichts.

Die Crawler, die du überhaupt nicht prüfen kannst

#

Die schwierigste Gruppe sind nicht die Lügner — es sind die Crawler, die du in keine Richtung verifizieren kannst. meta-externalagent (Metas KI-Crawler) sandte 179 Anfragen und Bytespider (der von ByteDance) 112, und für keine der beiden Firmen fanden wir einen veröffentlichten IP-Bereich oder eine offizielle Reverse-DNS-Methode, gegen die sich auch nur eine einzige prüfen ließe. Als wir eine Stichprobe der Meta-Adressen rückwärts auflösten (9 davon), kam NXDOMAIN zurück — gar kein registrierter Name. Es gibt nichts abzugleichen, ob mit Absicht oder aus Nachlässigkeit; du sollst dem Header vertrauen und bekommst kein Mittel dazu.

Das ist der stille Kern des ganzen Problems, und es ist ein Datenschutzproblem, keine Unannehmlichkeit für Webmaster. Das Opt-out, das man dir verkauft hat — robots.txt, „blockier den Bot", selbst die neue llms.txt —, ist nur so stark wie deine Fähigkeit zu erkennen, ob es gewirkt hat. Es teilt die Welt der KI-Crawler in drei, und deine Werkzeuge erreichen nur die erste:

Und die neuere, KI-spezifische Lösung schneidet in unseren eigenen Protokollen nicht besser ab. Wir veröffentlichen eine llms.txt; über die 17 Tage hinweg riefen KI-Crawler unsere Seiten hunderte Male ab — allein GPTBot 310-mal — und die Datei llms.txt genau null Mal. Eine Studie über 300.000 Domains kam im großen Maßstab zum selben Urteil: llms.txt-Dateien zeigen keine messbare Korrelation mit dem Verhalten von KI-Crawlern (SE Ranking, 2025). Den Standard, den die Bots lesen sollen, lesen sie nicht.

Fazit — Was dich wirklich schützt

#

Wenn das Ziel ist, deine öffentlichen Texte, Fotos und Beiträge aus KI-Systemen herauszuhalten, sagt dieser 17-Tage-Ausschnitt etwas Schlichtes und leicht Ernüchterndes: Die Kontrollen wirken am besten bei den Crawlern, die sich ohnehin benommen hätten, und gar nicht bei denen, die du am meisten fürchtest. Das ist kein Grund, die robots.txt zu entfernen — die ehrliche Mehrheit zu stoppen zählt weiterhin, und es entscheidet darüber, ob deine Worte in die großen Modelle eingehen oder nicht. Es ist ein Grund, das Schild an der Tür nicht länger für ein Schloss zu halten.

Daraus folgen drei ehrliche Schlüsse. Erstens: Nutz die Hebel, aber ordne sie danach, wer gehorcht. robots.txt und das Blockieren der veröffentlichten Bereiche am Edge stoppen GPTBot, ClaudeBot und Google tatsächlich — das ist der Großteil des deklarierten Volumens. Zweitens: Verifiziere, vertrau nicht dem Etikett. Wenn du aus deinen Protokollen handelst, prüf die Herkunfts-IPs gegen die veröffentlichten Listen der Betreiber und per Reverse DNS, genau wie wir — nicht die User-Agent-Zeichenkette. Drittens — der tragende Schluss: Behandle alles, was du im Klartext veröffentlichst, als bereits lesbar für Systeme, die du nicht prüfen kannst. Der Fälscher-Cluster und die Crawler ohne Methode werden keine Textdatei achten; die einzig dauerhafte Datenschutzkontrolle ist die Entscheidung, was überhaupt in die öffentliche Aufzeichnung gelangt — dieselbe Permanenz-Logik, die wir für Beiträge, die du nicht zurücknehmen kannst und für das, was Maschinen aus Fragmenten erschließen kartiert haben.

Ein aufkommender Standard namens Web Bot Auth will das Kostümproblem an der Wurzel lösen — kryptografische Signaturen, die ein Crawler nicht fälschen kann, sodass Identität bewiesen statt bloß getippt wird (Cloudflare, 2025). Er steckt in den Anfängen und ist wenig verbreitet, und er hilft nur bei Crawlern, die identifiziert werden wollen. Die mit den vierzehn Gesichtern waren nie das Ziel eines Vertrauensstandards.

Häufig gestellte Fragen

#

Kann man KI-Crawler mit der robots.txt blockieren?

#

Teilweise, und es hängt ganz von der Ehrlichkeit des Crawlers ab. In unseren Protokollen über 17 Tage verifizierten sich die großen deklarierten Crawler — GPTBot, ClaudeBot, GoogleOther — zu 97–100 % als echt und respektieren die robots.txt, sie dort einzutragen stoppt sie also. Aber die robots.txt ist eine freiwillige Bitte, keine erzwungene Regel: Ein Crawler, der sie ignoriert, oder einer mit gefälschtem User-Agent segelt glatt hindurch. Die Datei stoppt die Höflichen und informiert die Ehrlichen; einem Hochstapler bedeutet sie nichts.

Wie verifizierst du, dass ein KI-Crawler wirklich GPTBot oder ClaudeBot ist?

#

Vertrau nicht der User-Agent-Zeichenkette — prüf die Herkunfts-IP. OpenAI, Anthropic, Google und Amazon veröffentlichen jeweils die Adressbereiche, die ihre Crawler nutzen; eine echte GPTBot-Anfrage kommt also von einer IP innerhalb der veröffentlichten Liste von OpenAI. Bei Crawlern in geteilter Cloud (wie Amazonbot auf AWS) kommt eine Reverse-DNS-Prüfung hinzu: bestätigen, dass der Hostname der IP in beide Richtungen auf die offizielle Crawler-Domain des Betreibers auflöst (FCrDNS). Kommt ein „GPTBot"-Treffer von einer Adresse, die OpenAI nie veröffentlicht hat, ist es nicht GPTBot.

Hält llms.txt KI aus meinen Inhalten heraus?

#

Nach unseren Belegen: nein. Wir veröffentlichen eine llms.txt-Datei, und über 17 Tage riefen KI-Crawler unsere echten Seiten hunderte Male ab, die llms.txt hingegen null Mal — GPTBot las 310 Seiten und die Datei kein einziges Mal. Eine gesonderte Studie über 300.000 Domains fand keine messbare Korrelation zwischen einer vorhandenen llms.txt und irgendeiner Änderung im Verhalten von KI-Crawlern. Es ist ein vorgeschlagener Standard, den die Crawler, an die er sich richtet, größtenteils noch nicht lesen.

Was ist ein gefälschter KI-Crawler?

#

Es ist eine Anfrage, die den User-Agent-Namen einer echten KI-Firma trägt, aber nicht von dieser Firma kommt. In unseren Protokollen sandten vier kommerzielle Hosting-Netze — von der Sorte, die jeder mieten kann — Verkehr mit dem Etikett von 14 verschiedenen KI-Firmen, darunter ein Netz, das sich im Alleingang als alle vierzehn ausgab. Weil ein User-Agent bloß eine Textzeichenkette ist, die der Absender wählt, ist die Nachahmung trivial; erst der Abgleich der Herkunfts-IP mit den veröffentlichten Bereichen sagt dir, ob der Name verdient oder bloß getragen ist.

Wenn ich nicht jeden Crawler stoppen kann — was schützt dann wirklich meine Privatsphäre?

#

Die einzige Kontrolle, die einen unüberprüfbaren oder unehrlichen Crawler übersteht, ist die Entscheidung, was du überhaupt öffentlich machst. robots.txt und das Blockieren veröffentlichter Bereiche stoppen die ehrliche Mehrheit, und das lohnt sich. Doch bei den Crawlern, die du nicht verifizieren kannst — und den Hochstaplern, die jede Regel ignorieren —, geh davon aus, dass alles im Klartext Gepostete bereits für Systeme lesbar ist, die du nicht prüfen kannst, und behandle das Veröffentlichen selbst als den Entscheidungspunkt.

Quellen

#

Unser Testartefakt: die Verifizierungs-Zusammenfassung — aggregierte Anfragezahlen je User-Agent, verifizierte Zählungen und Netz-Eigentümerschaft auf /24-Ebene, aus dem Protokollfenster vom 19. Juni bis 5. Juli 2026. Keine Besucherdaten sind enthalten; Crawler-IPs sind öffentliche Infrastruktur, offengelegt nicht feiner als /24.

Ein Wort dazu, was das ist und was nicht. Dies ist eine einzige neue, verkehrsarme Seite über 17 Tage — eine Fallstudie, keine Vollerhebung. Die Prozentwerte beschreiben unsere Protokolle, nicht das Web. Verallgemeinern lassen sich nicht die Zahlen, sondern die Methode und ihr Urteil: Prüf gegen die veröffentlichte Identität, und die Welt der Crawler zerfällt in überprüfbar und nicht. Wir werden dieselbe Messung nach 90 Tagen wiederholen und die Differenz veröffentlichen — ob der Fälscher-Cluster wächst, ob die Crawler ohne Methode je überprüfbar werden und ob die ehrlichen ehrlich bleiben.

Dies ist das crawler-seitige Gegenstück zu unserem Argument, dass das offene Web eingehegt wird — mehr von Maschinen gelesen als von Menschen — und die empirische Fortführung des Bedrohungsmodells fürs KI-Zeitalter, mit dem diese Serie begann. Willst du sehen, was eine dieser Maschinen aus dem bereits Öffentlichen über dich zusammensetzen könnte, dann wendet unser Selbstaudit-Werkzeug dieselbe Disziplin des Prüfens-statt-Vertrauens auf deinen eigenen Fußabdruck an.