Cisco hat Gründe entdeckt, warum selbst scheinbar perfekte KI-Berichte über Cybervorfälle nicht als Wahrheit angesehen werden sollten

Cisco Talos untersucht die Genauigkeit großer Sprachmodelle bei der Erstellung von Cyberberichten

Das Cisco Talos Incident Response-Team führte einen Test durch, um herauszufinden, wie zuverlässig moderne LLM (ChatGPT, Claude und Gemini) technische Berichte über Cybervorfälle generieren können. Die Ergebnisse zeigten, dass selbst die „professionell aussehenden“ Dokumente faktische Fehler, Widersprüche und Inkonsistenzen enthalten.

Wie die Studie durchgeführt wurde
* Vorbereitung – Forscher ließen jeder Modell rohe Notizen zu einem Vorfall geben und baten sie um einen Bericht.

* Ergebnis – alle drei LLM lieferten visuell polierte Dokumente, aber bei genauer Analyse traten Ungenauigkeiten und unerwartete Schlussfolgerungen auf.

Nate Pors, Senior Manager für Incident Response bei Cisco Talos, beschrieb die Ergebnisse ausführlich in einem Unternehmensblog.

Warum LLM „fehlerhaft“ sind
Cisco erklärt die Probleme durch die probabilistische Natur der Modelle: sie prognostizieren das nächste Wort anhand statistischer Gewichte und verstehen nicht den Sinn. Laut Pors treten Verzerrungen in vier Richtungen auf:

1. Unterschiedliche Datenfragmente

Bei jeder Anfrage greift das Modell auf unterschiedliche Teile des Inputs zurück, was reproduzierbare und standardisierte Ergebnisse unmöglich macht.

2. Inkonsistente Schlussfolgerungen

Die gleichen Daten können zu unterschiedlichen Empfehlungen führen: In einem Bericht wird eine erzwungene Passwortänderung für die gesamte Organisation vorgeschlagen, in einem anderen nur punktuelle Änderungen. Das Modell fixiert sich häufig auf die erste generierte Empfehlung, auch wenn sie nicht passend ist.

3. Unkonventionelle Struktur

Da LLMs Text tokenweise erzeugen, können die Enddokumente unterschiedliche Strukturen und Formatierungen haben, was kritisch ist, wo Vorlagen zur Qualitätskontrolle erforderlich sind.

4. Probleme mit dem Kontextfenster

Bei Eingaben, die das Kontextlimit überschreiten, kann das Modell wichtige Informationen aus dem Anfang der Sitzung „vergessen“ und unvorhersehbare oder vermischte Ergebnisse liefern.

Was bedeutet das für die Cybersicherheit
Cisco erkennt an, dass man die Aufgabe theoretisch auf einen konkreten Berichtsteil beschränken könnte, aber dieser Ansatz verschwendet den Zeitgewinn der Nutzer. Im Bereich Cyberabwehr kann selbst ein kleiner Fehler teuer werden. Daher müssen Autoren von Enddokumenten jedes Wort sorgfältig prüfen und sich nicht vollständig auf LLM-Empfehlungen verlassen.

Fazit: Große Sprachmodelle können Berichte schnell generieren, aber ihre Ausgaben erfordern eine zwingende Überprüfung durch Fachleute, um Fehler und Inkonsistenzen im kritischen Kontext von Cybervorfällen zu vermeiden.