Starten eines KI-Modells auf einem alten PDP-11: Ein Enthusiast nutzte einen 6 MHz-Prozessor und 64 KB RAM

Veteran von Microsoft demonstriert die Funktionsweise eines Transformers auf einem alten Computer

*Dave Plummer – bekannter Windows-Entwickler,*

zeigt, dass moderne KI‑Modelle auch auf zehn Jahre alte Hardware trainiert werden können.

Was wurde gemacht
- Ausrüstung: PDP‑11 / 44, 47-jähriger Rechner mit 6 MHz Prozessor und 64 KB RAM.

- Modell: „Attention 11“ – ein Transformer-Netzwerk, geschrieben in PDP‑11‑Assembler von Damien Buret.

- Lernaufgabe: die umgekehrte Reihenfolge aus acht Zahlen erzeugen.

Das Modell muss keine Beispiele merken; es soll die Regel „Umkehren“ der Sequenz lernen.

Wie es funktioniert
1. Initialisierung – das Modell startet mit zufälligen Gewichten, Genauigkeit fast null.

2. Training – in jedem Schritt wird ein Vorwärtsdurchlauf (8‑Bit feststehende Punktzahl) ausgeführt und die Gewichte aktualisiert.

3. Allmähliches Erlernen des Musters – nach einigen hundert Iterationen entdeckt der Aufmerksamkeitsmechanismus das Regelwerk, und das Modell wechselt von Raten zu echtem Wissen.

> „Wir beobachten eine vereinfachte Anatomie des Lernens selbst… die Maschine überschreitet schließlich die unsichtbare Grenze – vom Raten zum Wissen.“ – Plummer

Ergebnisse
- Genauigkeit: 100 % bei der Umkehraufgabe.

- Geschwindigkeit: etwa 350 Trainingsschritte, was ~3,5 Minuten auf dem PDP‑11/44 mit Cache-Speicher in Anspruch nahm.

Was das für moderne KI bedeutet
Plummer betont, dass die grundlegenden Lernprinzipien – wiederholte arithmetische Operationen und Fehlerkorrektur – vollständig auch in einem so einfachen System umgesetzt sind.

„Diese alte Maschine denkt nicht mystisch; sie aktualisiert einfach ein paar tausend Zahlen. Das Wesen moderner KI ist die Skalierung dieses Prozesses.“

Damit hat der Autor bewiesen, dass der grundlegende Mechanismus von Transformern gleich bleibt, egal auf welcher Hardware sie laufen.