Microsoft-Forscher geben an, dass KI-Modelle noch nicht in der Lage sind, komplexe Aufgaben zu lösen.

Microsoft‑Forscher haben die Grenzen moderner großer Sprachmodelle (LLM) bei der Durchführung komplexer Mehrfachaufgaben aufgedeckt

Im Rahmen von Experimenten hat Microsoft Research herausgefunden, dass selbst die fortschrittlichsten KI‑Modelle gravierende Fehler machen, wenn sie beauftragt werden, langwierige und mehrstufige Operationen durchzuführen. Zu den getesteten Systemen gehören Gemini 3.1 Pro, Claude 4.6 Opus und GPT 5.4 – im Durchschnitt verlor jedes Modell etwa 25 % des Inhalts von Dokumenten nach der autonomen Verarbeitung.

Was genau getestet wurde
* Benchmark DELEGATE‑52

Erstellt vom Team Philipp Laban, Tobias Schnabel und Jennifer Neville. Er modelliert Arbeitsabläufe in 52 Fachbereichen: von Programmierung und Notensatz bis hin zur Kristallographie.

* Bewertungsmaßstab

Die Modelle wurden danach bewertet, wie gut sie die Integrität eines Dokuments nach 20 Verarbeitungsschleifen erhalten. Der „Ready“-Schwellenwert wurde auf 98 % festgelegt – fallen die Ergebnisse darunter, galt die Aufgabe als fehlgeschlagen.

Hauptaussagen
BereichBeste ErgebnisseProgrammierungStärkste LeistungenNatürliche SpracheAm wenigsten zuverlässige Modelle
* Qualitätsverlust

In mehr als 80 % der Dokumentenkombinationen sank die Qualität auf 80 % oder weniger. Das beste Modell (Gemini 3.1 Pro) erfüllte die Bereitschaftskriterien nur in 11 von 52 Bereichen.

* Sprunghafte Fehler

Verluste traten nicht schrittweise, sondern „sprunghaft“ auf: In einer Interaktionsschleife konnte das Modell zwischen 10 und 30 % Genauigkeit verlieren. Fortgeschrittenere Modelle (Gemini 3.1 Pro, Claude 4.6, GPT 5.4) versuchten, kleine Fehler zu vermeiden, indem sie deren Bearbeitung auf spätere Phasen verschoben und die Anzahl der Interaktionen reduzierten.

* Agentensteuerung

Bei der Nutzung von Werkzeugen im Agentenmodus verbesserten sich die Ergebnisse nicht: Am Ende einer Schleife sank die Qualität um etwa 6 %.

Was das für Nutzer bedeutet
Die Wissenschaftler betonen, dass Benutzer weiterhin die Arbeit von KI‑Systemen bei der Delegation ihrer Befugnisse sorgfältig überwachen müssen. Aktuelle Modelle können nur in engen Bereichen autonom arbeiten.

Dennoch vermerken die Autoren des Benchmarks einen bemerkenswerten Fortschritt: Die OpenAI-Modellfamilie hat ihre Leistungskennzahlen innerhalb von 16 Monaten von 14,7 % auf 71,5 % verbessert. Dies bestätigt, dass LLMs weiterentwickelt werden, aber noch immer in komplexen Mehrfachaufgaben begrenzt sind.