Google bringt Computer Use in Gemini für Mac: Die KI kann lokale Apps und Websites für mehrstufige Aufgaben im Hintergrund bedienen.
Gemini kann dabei klicken, tippen, Menüs bedienen und Formulare ausfüllen. Die Arbeit läuft laut Google in einem isolierten Hintergrundfenster. Eine Live-Vorschau im Gemini-Chat zeigt den Fortschritt, während Bildschirm und Mauszeiger frei bleiben.
Nutzer wählen aus, welche Apps Gemini verwenden darf. Die Ausführung lässt sich jederzeit mit einem Klick stoppen. Bei Anmeldungen und Zahlungen pausiert Gemini; sensible Aktionen erfordern eine Bestätigung.
Google nennt mehrere mögliche Aufgaben: Gemini kann Fotos gesammelt bearbeiten oder Angaben aus lokalen PDFs für Versandformulare übernehmen. Auch Präsentationen aus Kennzahlen und Bildschirmfotos oder vorbereitete Verkaufsanzeigen für Kleidung gehören zu den Beispielen.
Um die Funktion zu nutzen, wird „@Computer use“ in die Anfrage eingefügt. Unter „Customize“ und „Connectors“ erscheinen neue Desktop-Apps wie Blender und Autodesk Fusion neben bestehenden Integrationen für Git und Obsidian. Die bisherige Task-Funktion, früher Gemini Spark, konnte bereits auf lokale Dateien und verbundene Apps wie Gmail oder Google Kalender zugreifen.
Der Rollout beginnt am 19. November zunächst auf US-Englisch für Abonnenten von Google AI Plus, Pro und Ultra. In den USA beginnen die Abos bei 4,99 US-Dollar im Monat. Die Gemini-App setzt einen Mac mit Apple-Chip voraus.
Über die geplanten Zugriffskontrollen in macOS 27.3 haben wir bereits berichtet. Apple will Freigaben unter anderem auf einzelne Apps oder Ordner begrenzen lassen und bei Bedarf eine erneute Anfrage verlangen. Eine Anzeige soll kenntlich machen, wenn eine App eine andere steuert. Bei Apps, die bereits vor macOS 27.3 um Berechtigungen gebeten haben, sollen die neuen Erklärungshinweise nicht erscheinen. Bereits erteilte Freigaben müssen demnach nicht erneut vergeben werden.
Quellen:
Google
Apple