Claude Mythos wurde durch Tests als führender Vulnerability-Scanner bestätigt, zeigt jedoch auch andere Mängel.

Kurzfassung

Das Unternehmen XBOW hat eine unabhängige Bewertung des KI-Modells Mythos Preview von Anthropic durchgeführt. Die Ergebnisse zeigten, dass das Modell bestehende Alternativen bei der Suche nach Schwachstellen im Quellcode sowie bei der Arbeit mit nativen Code und Reverse Engineering übertrifft, jedoch Schwächen in der Analyse isolierter Codes und der Bestätigung der praktischen Anwendbarkeit gefundener Exploits aufweist. Die Kosten des Modells bleiben ein Thema: Mythos ist teurer als Opus, aber bei begrenztem Token-Budget zeigt es manchmal höhere Genauigkeit.

1. Was XBOW überprüfte
- Umfang der Tests – eine Serie unabhängiger Experimente mit Mythos Preview.
- Szenarien – Audits von laufenden Systemen mit Quellcodezugang, Analyse isolierter Codes, Reverse Engineering und Interaktion mit grafischen Benutzeroberflächen.

2. Schlüssel­schlüsse
KennzahlMythos PreviewGegnerische ModelleErkennung von SchwachstellenBeste Kennzahl aller Modelle, besonders im Quellcode und bei nativen Programmierung.Minder genau, aber manchmal zuverlässiger bei der Prüfung spezifischer Fälle.Falsch‑Alarm-ReduktionEntfernt mehr „falsche“ Entdeckungen als Vorgänger.Häufig gibt es mehr falsche Alarme.Probleme mit isoliertem CodeDas Modell bewältigt ohne Systemkontext schlechter. Einige Modelle arbeiten besser mit zeilenweise Analyse.Bestätigung von ExploitsNeigt zu wörtlichem Ansatz, überschätzt manchmal den praktischen Wert der Entdeckungen.Kritischer bei realer Anwendbarkeit.Reverse Engineering und nativer CodeStellt starke Ergebnisse dar; versteht die Logik des Programms ohne Quellcode.Weniger genau in diesen Aufgaben.Interaktion mit UIFindet nicht immer exakt die Koordinaten von Elementen, bestimmt aber erfolgreich die erforderlichen Aktionen im Browser. Einige Modelle sind genauer bei der Positionierung.

3. Kosten und Effizienz
- Preisgestaltung – Anthropic gab an, dass Mythos fünfmal so viel kosten wird wie Opus.
- Wirtschaftliche Analyse – XBOW führte Experimente mit „billigen“ Modellen durch, indem sie ihnen mehr Arbeitszeit gaben. Die Ergebnisse zeigten, dass bei Kosten-Normalisierung Mythos Preview nicht verschwenderisch wirkt für Aufgaben hoher Genauigkeit.
- Benchmarks – Bei festem Token-Budget übertrifft Mythos Opus 4.6 bei der Suche nach Web‑Schwachstellen, verliert jedoch gegen GPT5.5.

4. Fazit
Mythos Preview demonstriert außergewöhnliche Leistung bei Audits von Quellcode und nativen Programmen sowie bei Aufgaben des Reverse Engineering und der Analyse von Webanwendungen. Das Modell unterschätzt jedoch manchmal die reale Anwendbarkeit gefundener Schwachstellen und zeigt Schwächen in isolierten Codeanalysen. Bei begrenzten Token-Ressourcen kann Mythos günstiger sein als Opus, aber mit vollem Budget bleibt GPT5.5 ein Wettbewerber.

XBOW‑Schlussfolgerung: Mythos Preview ist ein zuverlässiges Werkzeug zur Identifizierung potenzieller Schwachstellen im Quellcode und in komplexen Systemen, erfordert jedoch zusätzliche Bestätigung der praktischen Wertigkeit gefundener Exploits.