Der Traffic von KI-Bots ist nicht länger eine einzige anonyme Masse. Cloudflare hat BotBase, sein Verzeichnis für Bots und Agenten, am 28. August um einen neuen Prozess zur Anmeldung und Verifizierung von Betreibern erweitert. Für Websitebetreiber ist jedoch noch etwas anderes wichtiger: Ein Bot soll nicht nur angeben, wer er ist, sondern auch, was er mit den abgerufenen Inhalten macht.

Das ist wichtig in einer Welt, in der dieselbe Webadresse von einer klassischen Suchmaschine, einem SEO-Tool, einem KI-Assistenten, der einem Nutzer antwortet, oder einem Crawler besucht werden kann, der Material zum Trainieren eines Modells sammelt. Aus Sicht des Servers kann all das wie automatisierter Traffic aussehen. Für den Eigentümer der Inhalte ist der Unterschied entscheidend.

Was hat Cloudflare geändert?

In der offiziellen Mitteilung vom 28. August 2026 hat Cloudflare BotBase for Operators gestartet. Betreiber von Bots können ihre Systeme jetzt direkt im Dashboard anmelden, den Status der Anmeldung verfolgen, Angaben korrigieren und den Grund für eine Ablehnung prüfen. Cloudflare automatisiert außerdem Teile des Verifizierungsprozesses, zum Beispiel die Prüfung von IP-Adresslisten, Reverse DNS und Web-Bot-Auth-Signaturen.

WebsiteGarage / Leistungen

Entdecke unsere Leistungen.

Das BotBase-Verzeichnis selbst ist nicht neu. Neu ist, dass nun auch die Betreiberseite des Systems strukturierter erfasst wird: Der Betreiber eines Bots soll klarere Angaben zu Identität, Verhalten und zur Nutzung von Inhalten machen. Genau diese Daten können Websitebetreibern später helfen, sinnvoller zu entscheiden, wen sie zulassen.

Nicht jeder Bot macht dasselbe mit deinen Inhalten

Das neue Formular trennt drei Dinge: was ein Bot tut, wie er gelesene Inhalte verwendet und wer ihn tatsächlich betreibt. Cloudflare nennt ein einfaches Beispiel. Eine Website kann die Nutzung ihrer Inhalte für die Suche erlauben, KI-Training verbieten und gleichzeitig zulassen, dass Systeme eine Referenz speichern, die sie benötigen, um einem Nutzer eine Antwort zu geben.

Das ist wichtig, weil Gespräche über KI-Bots bisher oft bei der Frage endeten: „KI blockieren oder nicht?“ Das ist ein bisschen so, als würde man fragen, ob Autos auf einen Parkplatz dürfen. Es hängt davon ab, welche Autos es sind, warum sie gekommen sind und ob sich der Fahrer ausweisen kann.

Was bringt das einem Websitebetreiber?

Vor allem besseren Kontext. Wenn ein Bot korrekt identifiziert und verifiziert ist, lässt sich ein legitimer Suchmaschinen-Crawler oder Assistent leichter von einem automatisierten System unterscheiden, das nur so tut, als wäre es ein bekannter Dienst. Cloudflare betont, dass der Verified-Status zunehmend darüber entscheidet, ob Websites im eigenen Netzwerk solchen Traffic anhand des deklarierten Verhaltens leichter zulassen können.

Für Betreiber von Websites mit wertvollen Inhalten kommt eine zweite Ebene hinzu: die Art der Content-Nutzung. Wenn ein Unternehmen in Suchmaschinen und KI-Antworten sichtbar sein möchte, aber nicht automatisch dem Training von Modellen mit den eigenen Materialien zustimmen will, helfen Systeme dieser Art endlich dabei, diese Ziele voneinander zu trennen, statt alles in einen Topf zu werfen.

Muss man jetzt sofort etwas tun?

Wenn du Cloudflare nutzt und dir die Kontrolle über KI-Bots wichtig ist, lohnt sich ein Blick darauf, welche automatisierten Systeme die Website tatsächlich besuchen und welche Regeln aktuell gesetzt sind. Es gibt aber keinen Grund, in Panik alles zu blockieren, was „KI“ im Namen trägt. Für eine Unternehmenswebsite kann ein Teil dieses Traffics wertvoll sein, weil er die Sichtbarkeit in Suchmaschinen, Recherchetools und Assistenten verbessert, die potenziellen Kunden Antworten liefern.

Die sinnvollere Frage lautet: Welche Bots bringen der Website einen Nutzen, welche verbrauchen nur Ressourcen und wofür geben sie an, die Inhalte zu verwenden? Wenn sich ein Administrator oder eine Agentur um die Website kümmert, kann man um eine Prüfung des Bot-Traffics und der aktuellen Regeln bitten, statt selbst in Serverlogs nach User-Agents zu suchen.

Sichtbarkeit in AI Search erfordert einen gewissen Kompromiss. Damit ein System deine Website nennen kann, muss es sie zuerst lesen. Gleichzeitig möchte ein Inhalteanbieter vielleicht nicht, dass jeder Besuch eines Bots automatisch als Zustimmung zu beliebiger weiterer Nutzung des Materials gilt.

Cloudflare versucht, eine technische Ebene zu schaffen, auf der der Bot sein Verhalten erklärt, die Website ihre Präferenzen angibt und beide Seiten mehr Informationen haben als nur einen Namen in der robots.txt. Das löst den gesamten Streit um die Nutzung von Inhalten durch KI noch nicht, ist aber ein Schritt in Richtung eines Internets, in dem „Crawler“ nicht mehr alles und nichts zugleich bedeutet.

WebsiteGarage sagt

Jahrelang war der Umgang mit Bots für Website-Administratoren ziemlich binär: zulassen oder blockieren. KI hat daraus ein Durcheinander gemacht, denn der eine Bot will indexieren, der zweite zitieren, der dritte ein Modell trainieren und der vierte im Auftrag eines Menschen eine Aufgabe erledigen. Alle klopfen höflich an denselben Server.

Deshalb ist Cloudflares Ansatz sinnvoll. Nicht, weil wir gerade einen magischen Button „Schütze meine Inhalte vor KI“ bekommen hätten, denn den gibt es weiterhin nicht. Dafür bekommen wir eine immer bessere Antwort auf eine Frage, die eigentlich vorher gestellt werden sollte: Wer steht da überhaupt vor der Tür und was will er?