Google Gemini wird in der Lage sein, ein Smartphone zu steuern; neue Funktionen wurden im Code entdeckt

Künstliche Intelligenz von Google wird bald Ihre Geräte steuern können

Immer fortschrittlichere KI-Modelle überschreiten allmählich die Grenzen einfacher Aufgaben und werden in naher Zukunft direkt mit mobilen Geräten interagieren. Google arbeitet bereits an dieser Funktion im Rahmen des Projekts Project Astra und verspricht, bald erste Ergebnisse zu zeigen.

Was wir über die neue Funktion wissen
- In der Beta-Version der Google-App (Version 17.4.66) wurde auf der Website *Android Authority* ein Hinweis auf eine kommende Möglichkeit gefunden, die bisher „bonobo“ im Code genannt wird. Der offizielle Name dürfte „screen automation“ – Bildschirmautomatisierung – sein.

- Die Funktion ermöglicht einfache Aktionen: Einkäufe in Online-Shops abzuschließen und Taxis zu bestellen. Bislang führt der Link zu Details nur zur allgemeinen Gemini-Supportseite, daher bleiben die Einzelheiten vage.

Wie es funktionieren wird
1. Start

Beim ersten Einschalten der Funktion sieht der Benutzer eine Warnung mit dem Hinweis, die Aktionen des KI-Agents genau zu beobachten. Es erinnert daran, dass „Gemini Fehler machen kann“ und die Verantwortung für sein Verhalten beim Nutzer liegt.

2. Sicherheit

Google betont, dass bei aktivierter Option *Keep Activity* Bildschirmaufnahmen den „trainierten Moderatoren“ zur Verfügung stehen. Daher wird empfohlen, keine vertraulichen Daten oder Zahlungsinformationen in die App einzugeben. Es ist noch nicht klar, ob Gemini solche Eingaben automatisch stoppen wird oder der Nutzer dies manuell tun muss.

3. Bestellungen

Bei KI-gestützten Einkäufen erscheinen diese im Abschnitt „Meine Bestellungen“ der App. Derzeit öffnet der Link zu diesem Abschnitt eine leere Seite – die Funktion ist noch nicht für den öffentlichen Einsatz bereit.

Welche Apps bereits getestet werden
- Essens- und Warenbestellung

- Transportdienste (Taxi)

- Erstellung von 3‑D-Avataren

- Hinzufügen von Kontext aus „Google Maps“

Es gibt noch keine genauen Listen der Apps, die Gemini steuern kann. Es wird erwartet, dass Google in naher Zukunft die unterstützten Dienste präzisiert.

Zusammenfassung: Google entwickelt aktiv eine Bildschirmautomatisierungsfunktion, mit der KI einfache Aktionen auf Ihrem Gerät ausführen kann. Die Details bleiben unklar, aber es ist bereits ersichtlich, welche Szenarien realisiert werden können – von Online-Einkäufen bis zur Taxi-Bestellung. Nutzer sollten genau beobachten, wie der Gemini-Agent arbeitet und die Sicherheitsrichtlinien beachten.