Andrej Karpaty hat KI-Agenten darin trainiert, Hunderte von Experimenten in der Nacht durchzuführen, wenn die Menschen schlafen.

Andrej Karpathy eröffnet einen neuen Ansatz für selbstständige Forschung

Der ehemalige Leiter der KI-Projekte bei Tesla und Mitbegründer von OpenAI, Andrej Karpathy, kündigte die Einführung eines einfachen, aber leistungsstarken Open-Source-Projekts an. Das Skript besteht aus nur 630 Zeilen und ist auf GitHub verfügbar. Es beansprucht keinen Status als fertiges Modell oder großes Unternehmensprodukt; das Ziel ist es zu zeigen, wie KI-Agenten die wissenschaftliche Methode vollständig automatisieren können, ohne menschliches Eingreifen.

> „Unsere Aufgabe ist es, Agenten zu bauen, die unendlich schnell in der Forschung voranschreiten, sogar nachts“, schrieb Karpathy auf X. Die Nachricht wurde sofort viral und sammelte mehr als 8,6 Million Aufrufe innerhalb von zwei Tagen.

Wie das System funktioniert
1. Initialisierung

Der Agent erhält ein Trainingsskript und ein festes Rechenbudget (in der Regel 5 Minuten pro GPU).

2. Selbstanalyse des Codes

Er liest seinen eigenen Quellcode, formuliert eine Hypothese zur Verbesserung (z.B. Änderung der Lernrate oder Tiefe des Modells).

3. Modifikation und Experimentstart

Er nimmt Änderungen vor, startet das Experiment und bewertet die Ergebnisse.

4. Effizienzprüfung

Wenn die Metrik *val_bpb* (Verlust pro Byte bei Validierung) verbessert wird, wird die Änderung gespeichert; andernfalls wird sie zurückgerollt und eine neue Hypothese generiert.

In einer Nacht führte der Agent 126 Experimente durch und senkte den Verlust von 0,9979 auf 0,9697. Nach zwei Tagen Konfiguration bearbeitete er etwa 700 autonome Änderungen und entdeckte rund 20 zusätzliche Verbesserungen, die erfolgreich auf größere Modelle übertragen wurden.

Karpathy bemerkte: „Es ist unglaublich zu sehen, wie der Agent den Prozess vom Anfang bis zum Ende vollständig steuert. Er hat Fehler in der Skalierung von Aufmerksamkeit und Regularisierung entdeckt, die ich über 20 Jahre Arbeit verpasst habe.“

Was Experten sagen
Die Automatisierung der wissenschaftlichen Methode gilt als fundamentaler Wandel in der KI-Entwicklung. Durch die Umwandlung des maschinellen Lernens in einen „evolutionären Prozess“ mit Siliziumgeschwindigkeit hat Karpathy neue Horizonte für Forschungen nicht nur im IT-Bereich, sondern auch im Marketing, Gesundheitswesen und anderen Feldern eröffnet.

Beispiele für praktische Anwendungen
Partner | Beschreibung des Experiments | Ergebnisse
---|---|---
Hyperspace AI (Varun Mathur) | 35 autonome Agenten arbeiteten in einem Peer-to-Peer-Netzwerk unter Verwendung von Laptop-CPUs. | In einer Nacht führten sie 333 Experimente ohne Operator durch, entdeckten Initialisierungsstrategien (Kaiming, Xavier) und Normalisierungsmethoden (RMSNorm).
Single Grain (Eric Siu) | Automatisierung des Marketingzyklus: Der Agent ändert Variablen auf Zielseiten, in Werbekreationen oder E-Mails. | Misst den „Prozentsatz positiver Antworten“, speichert erfolgreiche Änderungen und entfernt ineffiziente.

Fazit
Karpathy demonstrierte, wie einfache Skripte zu leistungsstarken Werkzeugen für das selbstlernende KI-Agents werden können. Der automatisierte Optimierungszyklus ermöglicht es, Hunderte von Experimenten pro Nacht durchzuführen und Verbesserungen aufzudecken, die zuvor Jahre Forschung erforderten. Dies ebnet den Weg für schnellere und skalierbarere Modellentwicklung in allen Bereichen.