Apple erklärt, wie HomeView Menschen erkennt, ohne im Ambient-Modus Kamera- oder Audiodaten an das Betriebssystem weiterzugeben. Stattdessen erhält das System nur abgeleitete Erkennungssignale.

Dafür nutzt HomeView sogenannte Secure Exclaves. Das sind abgeschottete Laufzeitumgebungen, die sensible Daten getrennt vom übrigen Betriebssystem verarbeiten. Apple beschreibt die Abläufe nun ausführlich in seinem Sicherheits-Blog.

So funktioniert die Personenerkennung

HomeView wertet seine Umgebung mit Kamera und Mikrofonen fortlaufend aus. Eine Kamera-Exklave verarbeitet die Videodaten und gibt daraus abgeleitete Metadaten an eine Exklave zur Personenerkennung weiter. Die Aufnahmen selbst bleiben abgeschottet. Für Audiodaten übernimmt eine eigene Exklave eine entsprechende Aufgabe.

Die Personenerkennung arbeitet auch mit einer Neural-Engine-Exklave zusammen. Sie gleicht Gesichts- und Stimmabdrücke mit einer Datenbank registrierter Personen ab. Das Betriebssystem erhält eine Personen-ID, die Position und einen Konfidenzwert. Dieser Wert gibt an, wie sicher die Zuordnung ist. Die Rohdaten von Kamera und Mikrofon werden verworfen.

Die Signale helfen dabei, persönliche Funktionen wie Kalender und Nachrichten bereitzustellen. Schon bei der Vorstellung von HomeView hatten wir über die Erkennung von bis zu sechs Personen und deren persönliche Startbildschirme berichtet. Apple erläutert jetzt genauer, wie die dafür nötigen Daten geschützt werden.

Zwei Betriebsmodi

Im Ambient-Modus können Sensoren auf Ereignisse reagieren, ohne dass die Aufnahmeanzeige leuchtet. Dabei gelangen nur kleine Mengen an Metadaten an das übrige System. Im Aktivmodus erhält das Betriebssystem vollständige Sensordaten. Eine Anzeige macht dann den Zugriff auf Kamera oder Mikrofon sichtbar.

Die Secure Exclaves sollen laut Apple sicherstellen, dass die Anzeige aktiv ist, bevor vollständige Sensordaten an das übrige Betriebssystem übertragen werden. So lässt sich die Hintergrundauswertung von einem aktiven Zugriff auf Bild oder Ton unterscheiden.

Nicht zu verwechseln sind Secure Exclaves mit der Secure Enclave: Letztere schützt unter anderem Schlüssel und Authentifizierungsinformationen. Secure Exclaves schirmen dagegen die Verarbeitung von Kamera- und Audiodaten ab.

Quelle:
Apple Security Research