KI-Bots blockieren bringt nichts?!

KI-Bots zu blockieren sorgt in der Regel nicht dafür, dass diese Inhalte nicht von der KI zitiert werden.

Zahlreiche Verlage und News-Seiten scließen KI-Bots über die robots.txt-Datei aus. Damit wollen sie verhindern, dass Webcrawler die Inhalte für Systeme wie ChatGPT, Gemini oder Googles KI-Overviews einsammeln. In der Praxis scheint das aber nicht so gut zu funktionieren wie erhofft.

Eine Auswertung von BuzzStream, die vier Millionen Quellenangaben aus 3.600 Prompts in verschiedenen KI-Systemen untersucht hat, zeigt: Auch wer KI-Bots offiziell aussperrt, landet trotzdem häufig in den Antworten der KI-Modelle.

Blockiert – und trotzdem zitiert

Die Zahlen fallen eindeutig aus:

• Etwa drei Viertel der Websites, die Crawler von OpenAI oder Google in der robots.txt blockieren, erscheinen trotzdem in deren KI‑Zitaten.

• Rund 95 Prozent der Seiten, die in den Antworten der Modelle erscheinen, verbieten eigentlich die Bots, die Trainingsdaten sammeln sollen, etwa GPTBot oder Google‑Extended.

• Knapp 70 Prozent der Quellen, die ChatGPT aufführt, stammen von Domains, die Live‑Retrieval‑Bots wie „ChatGPT‑User“ oder „OAI‑SearchBot“ ausdrücklich aussperren.

Schaut man auf einzelne Bots, wird das Bild noch schärfer:

• Google‑Extended: Mehr als 92 Prozent der Seiten, die diesen Bot in der robots.txt blockieren, werden trotzdem von KI‑Systemen zitiert.

• GPTBot (OpenAI‑Training): Knapp 88 Prozent der blockierenden Domains finden sich weiterhin in den Datensätzen wieder.

• OAI‑SearchBot (OpenAI‑Indexierung und Suche): Gut 82 Prozent der Seiten, die den Bot abweisen, erscheinen dennoch als Quellen.

• ChatGPT‑User (Live‑Abruf von Inhalten): Rund 71 Prozent der Domains, die diesen Zugriff in der robots.txt unterbinden, landen trotzdem in ChatGPT‑Antworten. Auch cnbc.com gehört dazu – die Seite blockiert fast alle OpenAI‑Bots, taucht aber in gut über tausend Zitaten auf.

• Googlebot (klassische Websuche) bildet die Ausnahme: Hier blockt praktisch niemand, weil damit auch die Sichtbarkeit in der normalen Google‑Suche verschwände.

Warum der robots.txt‑Riegel kaum greift

Die BuzzStream‑Analyse skizziert mehrere Gründe, warum blockierte Seiten dennoch in KI‑Antworten auftauchen:

Robots.txt bleibt eine Empfehlung – kein technischer Zwang
Das Protokoll beruht auf freiwilliger Beachtung. Wenn KI‑Unternehmen Regeln ignorieren oder sich mit Umwegen Zugriff verschaffen, gibt es keinen eingebauten Notstopp. Berichte über heimliches Crawlen und das Umgehen von Website‑Einstellungen haben diese Sorge zuletzt zusätzlich befeuert.

Daten aus den Suchergebnissen statt von der Seite selbst
Viele Modelle greifen nicht direkt auf die Website zu, sondern ziehen Titel, URL und Snippet aus den Suchergebnisseiten der großen Suchmaschinen. In diesem Fall berührt der Crawler den Ursprungsserver nie, die robots.txt kommt gar nicht ins Spiel – die Inhalte landen trotzdem in den Antworten, weil sie indirekt über die SERPs verfügbar sind.

Historische Datensätze wie Common Crawl helfen – erklären aber nicht alles
Große Sprachmodelle bedienen sich häufig an Archiven wie Common Crawl. Theoretisch könnten Inhalte also über ältere Snapshots im Training gelandet sein, auch wenn heute Bots blockiert werden. Die Analyse zeigt jedoch: Ein Großteil der zitierten Artikel ist sehr aktuell, und viele betroffene Seiten blockieren inzwischen sogar den CCBot selbst. Nur etwa 15 Prozent der Quellen existierten schon vor dem Start von ChatGPT – reine „Altlasten“ erklären das Phänomen also nicht.

Was kann man also unternehmen?

Die Daten zeigen es: Wer seine Inhalte aus KI‑Antworten heraushalten will, erreicht mit einer reinen robots.txt‑Strategie nur begrenzt etwas.

Für Kommunikations‑ und PR‑Teams ergibt sich daraus ein pragmatischer Schluss: Statt die gesamte Energie in die Abwehr von KI‑Crawlern zu stecken, lohnt es sich eher, die eigene Content‑Strategie zu schärfen. Entscheidend bleibt, Inhalte zu produzieren, die auf verschiedenen Kanälen funktionieren – in klassischen Suchergebnissen, in Social Feeds, in Newslettern und, ob man will oder nicht, auch in Antworten von KI‑Assistenten.

Quelle:

buzzstream.com

Manu Magno

Manu Magno

Manu ist seit Oktober 2020 Teil des Backlinked-Teams und leitet seit Oktober 2022 die Redaktion. Der gelernte Technik-Journalist hat in den vergangenen Jahren vor allem Erfahrung in den Bereichen (Automobil)Versicherung, Buchhaltung/Inkasso und Jobvermittlung gesammelt. Er schreibt für User, nicht für Suchmaschinen: Seine SEO-Texte haben immer den Mehrwert der Nutzer im Fokus.