KI-Bots sind jetzt eine neue Nutzerkategorie im Netz und eine Quelle des Traffics, und Verbote hindern sie nicht.

Künstliche Intelligenz kontrolliert bereits einen erheblichen Teil des Webverkehrs

Laut dem neuesten Bericht von Akamai, veröffentlicht in der Zeitschrift *Wired*, nehmen KI-basierte Bots immer mehr Anteil an Website-Besuchen ein. Der Bericht beschreibt, wie das Blockieren dieser Bots und ihre raffinierten Aktionen zu einem echten „Wettrüsten“ im Internet werden.

Was passiert
- Neue Besucherarten

Experten betonen, dass KI‑Bots nicht nur Inhalte kopieren – sie werden zur neuen Nutzerklasse. Betreiber großer Portale versuchen den Zugang zu Materialien einzuschränken, die Bots sammeln und für das Training ihrer Modelle nutzen können.

- Datensammlung in Echtzeit

Einige Bots holen Informationen sofort aus dem Netz und verwenden sie zur Verbesserung eigener Dienste: aktuelle Preise von Produkten, Kinoprogramme, kurze Nachrichtenübersichten usw.

Wachstumsstatistik
Periode Anteil Bot-Besuche 1–3 März 2025 1 von 200 Besuchen IV. Quartal 2025 1 von 50 Besuchern
- Verletzungen von robots.txt

Mehr als 13 % der Bots ignorieren die Anweisungen in *robots.txt*. Von II. bis IV. Quartal stieg dieses Verhalten um 400 %, während Versuche von Administratoren, sie zu blockieren, nur um 336 % zunahmen.

- Tarnung

Einige Bots ändern Header und imitieren gewöhnliche Browseranfragen, um Schutzmaßnahmen zu umgehen.

Dienstleistungen und Lösungen
Unternehmen | Angebot
TollBit | Plattform für Vertragsabschlüsse zwischen KI‑Entwicklern und Verlegern, die Zahlung für Inhalte ermöglicht.
Cloudflare | Werkzeuge zur Bot-Blockierung, entwickelt von unlauteren Entwicklern.
Bright Data | Behaupten, ihre Bots sammeln nur öffentlich zugängliche Informationen.
ScrapingBee | Betonen das Prinzip der Offenheit des Internets für Menschen und Maschinen.
Oxylabs | Spezialisieren sich auf Datensammlung; behaupten, dass Site-Schutz keinen Unterschied zwischen gutem und schädlichem Traffic macht.

Es gibt viele legitime Zwecke für die Sammlung von Materialien: Cybersicherheit, journalistische Ermittlungen und andere Aufgaben. Die meisten Schutzmechanismen werden jedoch noch gleichmäßig auf alle Szenarien angewendet.

Markttrends
- Mehr als 40 Unternehmen bieten heute Bots zur Datensammlung an, die für das Training von KI benötigt werden.

- Suchmaschinen mit KI und Agenten wie OpenClaw werden aktiv.

- Einige Firmen unterstützen bereits Unternehmen dabei, Materialien für KI‑Agenten zu finden, und entwickeln Optimierungstools für Inhalte im maschinellen Lernen.

Diese Entwicklungen deuten auf die Entstehung eines „vollwertigen Marketingkanals“ hin, in dem Suche, Werbung, Medien und Kommerz in ein einziges Ökosystem integriert werden.