Datei, Inhalt und Semantik

Bei einer einfachen Dateisuche (die es bei macOS seit 2005 nicht mehr gibt, die aber »anderswo« noch üblich ist) wird der Dateiname in einem Verzeichnis gesucht. Das Verzeichnis sagt dann, unter welchem Pfad die Datei zu finden ist. Es ist wie ein Telefonbuch: Links der Name, rechts die gesuchten Daten (der Dateipfad).

Bei einer inhaltlichen Suche wird auch der Inhalt der Datei ausgewertet. Das war die Idee für Spotlight: Der Index speichert nicht nur den Dateinamen, sondern auch bestimmte wichtige Inhalte. Dadurch konnten wir nach Worten suchen, die in irgendeinem Pages-Dokument oder in irgendeiner Mail standen. Es liegt auf der Hand, dass ein solcher Index nicht in ein paar Sekunden erzeugt werden kann, weil er buchstäblich alle Dateien öffnen und auswerten muss. Deswegen sind wir es gewohnt, dass die Indizierung lange dauert.



Bei einer semantischen Suche wird dieses Prinzip auf eine neue Stufe gehoben, die geradezu absurd aufwändig ist. Den Entwickler, der das bei Apple vorgeschlagen hat, wurde vermutlich sofort rausgeschmissen und am nächsten Tag wieder eingestellt.

Eine semantische Suche fragt nicht nach Dateinamen oder Worten innerhalb einer Datei, sondern nach deren Bedeutung. Wenn man nach »Fisch« sucht, wird auch das Pages-Dokument gefunden, das das Wort »Forelle« enthält. Klingt trivial, ist aber für Computer unerreichbar.

Warum ist es für den Computer unerreichbar? Es leuchtet uns ein, dass für einen Computer die Zahl »1« fundamental etwas anderes ist als die Zahl »2«. Fundamental bedeutet, dass zwischen diesen Werten eine unüberbrückbare Grenze existiert. Aus einer 1 wird niemals eine 2 werden. Wenn man nach »1« sucht und der Computer präsentiert eine »2«, dann ist etwas defekt.

Es leuchtet uns weniger ein, dass zwischen den Worten »Forelle« und »Forele« der exakt gleiche fundamentale Unterschied besteht. Aber immerhin könnte man zählen, wie viele Buchstaben übereinstimmen. Bei einer Übereinstimmung von 90% könnte man es als Treffer gelten lassen.

Von der Google-Suche sind wir es gewohnt, dass solche geringen Unterschiede verziehen werden. Aber dahinter steckt ein statistisches Verfahren, welches auswertet, was die Anwender eintippen und welche Korrekturen sie vornehmen. Es funktioniert gut, wenn man eine Milliarde Anwender hat, die diese Korrekturen vornehmen. Es funktioniert überhaupt nicht, wenn man einen einzigen Anwender hat.

Außerdem: Mit einer solchen Technik wird man niemals einen »Karpfen« finden, wenn man einen «Fisch« sucht. Denn hier sind alle Buchstaben unterschiedlich. So funktioniert es also nicht.

Treffer ohne Treffer

Das muss man sich auf der Zunge zergehen lassen: Eine Suchfunktion soll Dokumente finden, wobei kein einziger Buchstabe mit dem Treffer übereinstimmt — und trotzdem soll es im Idealfall aus Millionen von Dokumenten genau dieses eine Dokument erkennen, das der Anwender gemeint hatte. Wir sind es ja gewohnt, dass amerikanische Firmen gelegentlich im halb-legalen Bereich operieren, aber das hier ist extrem. Im Grunde ist es Hexerei. Hexerei ist in der EU verboten.

So funktioniert es: Zunächst wird wie bisher ein Index an Stichworten erzeugt. Dann fällt die lokale KI über diese Stichworte her und erzeugt weitere Synonyme. Aus einem Wort werden fünf. Klingt nach einer kleinen Aufgabe, aber: Das sind sensitive Daten. Man kann sie nicht einfach in die Cloud senden. Nur ein lokales Modell kann eine solche Aufgabe meistern und dabei den Datenschutz wahren.



Dieses lokale Modell steht vor einer großen Aufgabe: Es muss alle Dokumente (Millionen davon!) öffnen, lesen, die wichtigen Schlagworte finden (dazu muss es deren Bedeutung verstehen!), davon ein paar Synonyme bilden, und diese dann als Ergebnis in den Index speichern.

Dann geht es weiter: Der erweiterte Index wird nun in die geheimnisvollen multidimensionalen Vektoren übertragen, die in der Sendung erklärt werden. Es ist dieser Schritt, der alle Worte im Index miteinander verknüpft. Das Wort »verknüpft« lässt an eine freundliche Großmutter im Schaukelstuhl denken, die ein paar Wollfäden knüpft. Aber hier sind es Millionen von Fäden, nämlich buchstäblich jedes Wort im Index und seine Synonyme, die alle untereinander in Bezug gesetzt werden.



Das Ergebnis der Verknüpfung besteht darin, dass die einzelnen Worte eine gewisse »Nähe« zu anderen Worten erhalten, die eine ähnliche Bedeutung haben. Das ist der entscheidende Trick, der dazu führt, dass »Fisch« und »Karpfen« zu ähnlichen Suchtreffern führen, und dass man ein Karpfendokument findet wenn man ein Fischdokument gesucht hatte.



Diese Verknüpfung, von einem Begriff zum nächsten, ist der Alptraum für jeden Datenschützer. Es reicht eine ungefähre Suche, und es offenbart sich das gesamte Buffet. Bitte bedienen Sie sich! — Doch Apples semantischer Index enthält kein einziges dieser Worte, weder verschlüsselt noch sonstwie. Das ist zwar nicht Apples eigene Erfindung, sondern eine Eigenschaft der ominösen Vektoren. Aber man muss es erstmal zum Funktionieren bringen. Tatsächlich gelang es Apple, den Datenschutz beim neuen Spotlight nochmals massiv zu erhöhen, während andere Anbieter es im Rausch der neuen KI-Begeisterung nicht mehr so genau nehmen. Eines ist jedoch klar: Mit einer normalen Stichwortsuche hat das nichts mehr zu tun.

Dateien ohne Dateien

Es geht aber noch weiter. Hier betreten wir den Bereich des Wunderlichen und Übersinnlichen. Was nun folgt, schreibt der Autor in einem Nebeldunst der Bewunderung und des Staunens.

Denn: Vielleicht liegen die Dateien des Anwenders überhaupt nicht auf der lokalen SSD. Als normaler Entwickler würde man sagen, naja, dann hat der Anwender eben Pech gehabt. Aber was wäre beispielsweise, wenn Siri eine Suche ausführen soll nach einer Information, die in irgendeiner alten Mail steckt; doch diese alte Mail befindet sich irgendwo auf einem Server. Weil sie so alt ist, wird sie längst nicht mehr lokal gespeichert.

Oder was ist hiermit: Ein Cloud-Dienst platziert nur einen winzigen Platzhalter im Dateisystem, während die eigentliche Datei nur bei Bedarf geladen wird, weil sie länger nicht mehr im Gebrauch ist. Oder man denke an Photos, die nur in iCloud gespeichert sind, die man aber dennoch finden möchte. Gerade für solche alten Dateien wird der Anwender die Hilfe von Siri oder Spotlight benötigen.

Oder hiermit: Der Anwender verwendet einen fetten Mac und ein schlankes MacBook. Das schlanke MacBook hat die iCloud-Dateien, die nicht auf seine schlanke SSD passen, niemals gesehen. Sondern es kennt nur die Platzhalter. Also konnte es auch keinen Index anlegen. Was nun?

Spotlight lädt im Hintergrund alle diese Dateien, indiziert sie, und lässt sie wieder verschwinden, um keinen Speicherplatz zu vergeuden. Ob es wirklich alle Dateien sind, weiß ich nicht zuverlässig (für YouTube: weiß ich ganz genau). Es ist schwierig, es herauszufinden, weil man es nicht von außen sehen kann; außerdem ist alles noch Beta. Aber es sieht so aus, als würde Spotlight tatsächlich hinter den Kulissen auf diese Weise arbeiten. Wie es dann in der finalen Version implementiert wird, muss man abwarten, denn vielleicht wird es in dieser »radikalen« Form nur während der Beta-Phase erprobt, und die finale Version hält vielleicht ein Limit ein, wie viele Dateien berücksichtigt werden, oder wie alt sie maximal sein dürfen.



Jedenfalls, diese schrittweise Verarbeitung der Daten und die teilweise nötigen Downloads sind der Grund, warum die Spotlight-Indizierung diesmal so auffallend lange dauert.

Das Räderwerk

Ebenfalls auffallend: Die entscheidenden Technologien sind das Neueste vom Neuen, sowohl bei Hardware als auch bei Software. Hier kann man beobachten, wie das Räderwerk ineinander greift. Im Zentrum steht die sprachliche Intelligenz des lokalen KI-Modells. Es wertet den Inhalt der Dateien aus anhand ihrer Bedeutung. Die Neural Engine, zusammen mit der GPU, berechnet daraus die multidimensionalen Vektoren. Das sind Trillionen über Trillionen von Multiplikationen, absolut unerreichbar ohne eine spezialisierte Hardware. Falls wir uns je gefragt haben, was die doofe Neural Engine eigentlich für uns leistet: sowas zum Beispiel. Sie erzeugt das Netz zwischen den Begriffen.

Am Ende tippt der Anwender ein: »Fische Sommer« und es erscheint das Pages-Dokument »Karpfenzucht im Donautal« vom Juli 2024.

Niemand kümmert’s, aber das ist einfach phänomenale Technik.



Diskussion im Forum Aktuelle Sendung dazu: Apple bringt Spotlight mit KI: Wie funktioniert die Technik?