Apple hat künstliche Intelligenz trainiert, um unbekannte Handschläge anhand von EMG-Signalen zu erkennen

Apple hat das Modell EMBridge entwickelt – Gestenerkennung anhand von EMG-Signalen

Neue Untersuchungen des Unternehmens Apple haben gezeigt, dass ihr KI-Modell EMBridge Bewegungen der Hand allein aus elektrischen Muskelaktivitäten (EMG) erkennen kann, selbst wenn solche Gesten im Trainingsdatensatz nicht vorkamen.

Was ist EMG und wo wird es bereits eingesetzt? Elektromyographie misst die elektrische Aktivität, die bei Muskelkontraktionen entsteht.
In der Medizin wird sie zur Diagnose und Physiotherapie sowie in Gliedmaßenprothesen verwendet.
Tragbare Geräte (z. B. Meta Ray‑Ban Display-Brillen mit dem Neural Band-Controller) nutzen EMG zur Steuerung von Virtual Reality.

Wie wurde EMBridge trainiert
1. Daten – die Forscher nutzten zwei offene Datensätze:
* `emg2pose` – EMG-Signale und Handkoordinaten.
* `NinaPro DB2` – ein ähnlicher Datensatz.
2. Zwei Darstellungen – das Modell wurde zunächst auf zwei separaten Streams trainiert:
* nur EMG-Signale;
* nur Daten zur Handposition.
3. Synchronisation – nach dem ersten Training „verknüpften“ die Forscher die Streams: die Komponente, die mit EMG arbeitet, lernte, Informationen aus den Koordinatendaten zu verstehen. Damit konnte EMBridge Gesten ausschließlich anhand von EMG-Signalen erkennen.

Komplexität der Aufgabe
* Ein Teil des zweiten Streams (Koordinaten) wurde abgeschnitten und das Modell musste nur auf Basis von EMG Schlüsse ziehen.
* Um übermäßige Fehler zu vermeiden, wurde die Bewertung der Vorhersagen lockerer gestaltet: ähnliche Gesten wurden als verwandte, nicht völlig unterschiedliche betrachtet.
* Dieser Ansatz half, den Merkmalsraum zu „strukturieren“ und verbesserte die Rekonstruktion von Handpositionen, die im Training nicht vorhanden waren.

Test und Ergebnisse
* Das Modell wurde mit denselben Datensätzen `emg2pose` und `NinaPro` getestet und als Benchmark verwendet.
* EMBridge behält hohe Genauigkeit bei, selbst wenn nur 40 % der Trainingsdaten genutzt werden.

Einschränkungen
Die Wissenschaftler betonen, dass das Hauptproblem weiterhin der Zugang zu Datensätzen mit „EMG + Handposition“ ist. Solche Daten sind derzeit begrenzt und nicht immer verfügbar.