Forscher nutzten KI, um aus gewöhnlichen Smartwatches ein Gerät zur präzisen Messung der Handbewegungen zu machen

Neue Uhr‑Assistenten von Cornell University und KAIST

Wissenschaftler der Cornell University (USA) und des Korean Advanced Institute of Science and Technology (KAIST) haben das System WatchHand entwickelt, das gewöhnliche Smartwatches in einen vollwertigen Handbewegungstracker verwandelt. Das System nutzt ausschließlich den eingebauten Lautsprecher und das Mikrofon der Uhr und erfordert keine externen Sensoren.

Wie funktioniert WatchHand
1. Akustisches Signal – die Uhr strahlt unhörbare Schallwellen aus.
2. Echo‑Erfassung – das Mikrofon nimmt die reflektierten Signale auf und bildet ein Echoprofil.
3. Geräteverarbeitung – ein lokal arbeitendes Machine‑Learning‑Algorithmus wandelt das Profil in Handkoordinaten entlang drei Achsen um.

Damit werden die Daten direkt an der Uhr verarbeitet, was Privatsphäre und minimale Latenz gewährleistet.

Vorteile
WatchHand | Traditionelle Lösungen
Keine externen Sensoren ✔ ❌ (Kameras, IMU‑Sensoren)
Alltägliche Nutzbarkeit ✔ ❌
Skalierbarkeit auf Millionen Geräte ✔ ❌
Lokale Datenverarbeitung ✔ ❌

Testung
- Teilnehmer – 40 Personen.
- Daten – ca. 36 Stunden Gesten, gesammelt in vier unabhängigen Experimenten.
- Plattformen – mehrere Smartwatch‑Modelle.
- Szenarien – verschiedene Handpositionen und laute Umgebungen.

Die Ergebnisse zeigten eine zuverlässige Verfolgung von Fingerbewegungen und Handgelenkrotation auch unter schwierigen Bedingungen.

Anwendungsperspektiven
* Computer- und App-Steuerung durch Gesten.
* Interaktion mit AR/VR‑Systemen.
* Unterstützung für Menschen mit eingeschränkter Mobilität oder Sprache.

KAIST‑Postdoc Jivan Kim betont: „Wenn ein Gerät einen Lautsprecher und ein Mikrofon hat, ist unser Ansatz anwendbar.“

Beschränkungen und Zukunft
* Derzeit funktioniert nur auf Android-Geräten.
* Die Genauigkeit nimmt bei Bewegung des Benutzers (z. B. beim Gehen) ab.

Das Team arbeitet aktiv an Verbesserungen für mobile Szenarien.

Die Forschungsergebnisse werden auf der ACM CHI 2026 Konferenz zum Human Factors in Computing Systems vorgestellt.

Kernidee

Der Dozent der Cornell University, Cheng Zhang, fasste zusammen: „WatchHand zeigt, wie ein einfaches Software‑Update Millionen vorhandener Uhren in intelligente Plattformen zur Verhaltensverfolgung verwandeln kann. Es ebnet den Weg für neue Interaktionsmöglichkeiten mit digitalen Geräten ohne Tastatur und Maus.“