ChatGPT, Gemini und Claude haben die Bewertungen des Aussterbens von Berufen durch KI übertrieben, während Wissenschaftler deren Zuverlässigkeit in Frage stellen.

Kernidee der Studie

Wirtschaftswissenschaftler des Nordwest-Universität und der American University haben herausgefunden, dass die drei größten Sprach-KI‑Modelle (ChatGPT‑5, Gemini 2.5 und Claude 4.5) unterschiedliche Einschätzungen darüber abgeben, welche Berufe im Automatisierungsrisiko liegen. Das wirft Fragen zur Zuverlässigkeit von „KI‑Expositionsindizes“ auf – numerische Kennzahlen, die Politiker und Arbeitgeber bei der Planung des zukünftigen Arbeitsmarktes verwenden.

1. Wie die Studie durchgeführt wurde
Schritt | Was gemacht wurde | Aufgabenstellung | Modelle wurden gebeten, die Anfälligkeit verschiedener Berufe gegenüber KI zu bewerten. | Vergleich der Antworten | Bewertungen wurden miteinander und mit realen Daten verglichen. | Analyse der Abweichungen | Zwei Schlüsselfaktoren identifiziert: Unterschiede in den Modellen selbst und Einfluss darauf, welche Fachkräfte bereits KI nutzen.

2. Ergebnisse
Beruf | Claude 4.5 | Gemini 2.5 | ChatGPT‑5
Buchhalter | hohe Anfälligkeit | niedrig | mittel
Werbungskampagnenmanager | — | — | —
Top-Manager | — | — | —

*Unstimmigkeiten*
- Claude setzte Buchhalter an die Spitze, Gemini deutlich darunter.
- Bewertungen von Werbungskampagnenmanagern und Top-Managern unterschieden sich ebenfalls.
- ChatGPT und Gemini stimmten in ca. 75 % der Fälle überein, divergierten jedoch um etwa ein Viertel.

*Einfluss „KI‑Nutzer“*
Finanzanalysten arbeiten aktiv mit neuronalen Netzen, erzeugen Daten, auf denen zukünftige Modelle trainiert werden. Das verschiebt die Bewertungen und macht Berufe, die bereits eng mit KI verbunden sind, für die Modelle anfälliger.

3. Aufbau von Expositionsindizes
1. Manuell – Experten bewerten den Einfluss von KI auf spezifische Aufgaben.
2. Nutzerumfragen – sammeln Meinungen derjenigen, die die Plattform bereits nutzen.
3. Größte Sprachmodelle (LLM) – generieren Bewertungen automatisch.

*Probleme:*
- Manuelle Einschätzungen sind subjektiv.
- Umfragen beschränken sich auf eine Plattform und spiegeln den gesamten Markt nicht wider.

Dennoch werden solche Indizes weit verbreitet in Analyseberichten, Consulting und Politik eingesetzt.

4. Bedeutung für die Praxis
- Zuverlässigkeit der Bewertungen ist noch unbekannt; ob LLMs genauere Prognosen liefern als Expertenmethoden.
- Risiko, Entscheidungen auf Basis eines einzigen Kennwertes zu treffen – Autoren warnen, dass Politiker und Arbeitgeber fälschlicherweise auf eindeutige Zahlen vertrauen könnten.

5. Empfehlungen der Forscher
1. Mehrere KI‑Modelle gleichzeitig nutzen, nicht nur ein Modell.
2. Klare Angabe des Unsicherheitsniveaus in den Ergebnissen.
3. Ergebnisse durch Umfragen echter Nutzer bestätigen, um zu verstehen, wie KI tatsächlich eingesetzt wird und welche Aufgaben erledigt werden.

> „Ich würde persönlich nicht auf einen einzigen Indikator für Entscheidungen zur Berufswechsel oder Spezialisierung vertrauen“, betont Michelle Yin.

Fazit:

Aktuelle KI‑Expositionsindizes benötigen einen kritischeren Ansatz. Die Kombination mehrerer Modelle mit empirischen Daten kann Prognosen zuverlässiger machen und falsche Entscheidungen, die auf einseitigen Einschätzungen beruhen, vermeiden.