Auf unserer Webseite lässt sich hin und wieder ein interessantes Mysterium beobachten. Ein Beispiel: Unterhalb dieser Meldung befindet sich ein Posting über das iPhone 18 Pro, mit einem entsprechenden Bild. Offensichtlich ist dieses Bild, wie inzwischen fast alle unsere News-Bilder, per KI erzeugt worden.



Aber woher weiß die KI, wie ein iPhone 18 Pro aussieht? Das Training der KI-Modelle begann zu einem Zeitpunkt, zu dem die neuen Produkte noch nicht bekannt waren. Trotzdem wird das iPhone 18 Pro akkurat dargestellt, auch die Farbe ist korrekt. Das Problem stellt sich bei allen neuen Produkten: Wie kann eine KI neue Produkte darstellen, die sie nie gesehen hat?

Dahinter steckt eine eigens für Mac-TV erstellte Software, die genau dieses Problem lösen soll. Es ist ein lernfähiges System, d.h. es sind manchmal Fehler zu erwarten, aber es wird mit der Zeit immer besser. Die Software läuft seit Sommer in der Erprobung, und langsam sieht man die Ergebnisse. Die Software analysiert die Texte auf der Webseite, um zu erkennen, wann plötzlich von neuen Produkten die Rede ist. Das funktioniert mit dem sog. semantischen Index, den auch das neue Spotlight verwendet. Damit kann man erkennen, wie ähnlich oder unähnlich zwei Dinge sind. (Über den semantischen Index hatten wir bereits einige Artikel und Sendungen veröffentlicht.)

Wenn ein solcher Umbruch entdeckt wird, sucht die Software nach charakteristischen Merkmalen des neuen Produkts. Besonders knifflig ist dabei, dass ein Produkt mehrere Varianten haben kann, sodass man sie sehr akkurat trennen muss, um keine "Frankenstein-Produkte" zu erhalten. Anhand dieser Merkmale wird dann das Bild erzeugt.

Unten sieht man ein offizielles Pressebild von Apple. Es ist sehr ähnlich. Achtung, man muss aufpassen, welchen Schluss man daraus zieht: Man könnte annehmen, dass es anhand dieser Vorlage ja sehr einfach war, ein leicht abweichendes Bild zu erstellen. Richtig ist stattdessen: Die Software kommt dem Original verblüffend nahe.



Die üblichen Thumbnail-Bilder z.B. bei Youtube zeigen ausgeschnittene Produktbilder von Apple, d.h. die Perspektive lässt sich nicht ändern. Deswegen handelt es sich meist um Collagen von einzelnen Produkten (ein iPhone, ein iPad, ein Prozessor), die lustig durcheinander zusammen mit einer Fratze dargestellt werden. Hier ein typisches Beispiel eines geschätzten Kollegen:











Mit unserem System kann jedoch die Perspektive und die Belichtung verändert werden, weil das System lernt, wie die Produkte konstruiert sind. Die Produkte können deswegen in einer natürlichen Szene dargestellt werden (eher von oben, eher seitlich, wie man es braucht).

Dadurch werden Bilder möglich wie dieses:



Es sieht aus wie irgendein Bild mit dem Apple TV und der Remote. Tatsächlich ist es aber ein kleiner technischer Durchbruch, denn diese 3D-Darstellung wurde allein durch die Analyse von frontalen Aufnahmen konstruiert (also platt von vorne oder platt von oben). Man hat völlige Freiheit, wie man die Szene gestaltet. Hier ist eine weitere Variante, die ebenfalls in der linken Bildhälfte etwas Platz lässt für einen Titel:



Die Programmierung dieser Lösung ist absurd aufwändig und lohnt sich überhaupt nicht. Es ist aber ein interessantes Problem. Wahrscheinlich werden die Bildmodelle irgendwann tagesaktuelle Daten verwenden. Aber bis es soweit ist, kann man sich als Nerd daran austoben.

Mit dem iPhone Duo funktioniert es noch nicht, weil es zu viele unterschiedliche Zustände haben kann (geschlossen, geöffnet, halb geöffnet, und so weiter). Als nächsten Schritt müsste man der Software beibringen, wie es diese Zustände berechnen kann. Aber das ist derzeit endgültig zu aufwändig. Doch irgendwann wird es funktionieren.

Zum Schluss noch ein letztes Beispiel eines Titelbilds, das wir vor ein paar Tagen verwendet haben. Die neuen HomePod mini haben neue Farben, und diese werden akkurat dargestellt. Wie bei den Youtube-Thumbnails ist es eine Collage von mehreren Produkten. Doch es ist ansprechend gestaltet in einer natürlichen Szene. Interessant ist auch: Das Logo auf dem Apple TV ist nicht ganz korrekt. Man sieht also recht gut, wie sich die Technik entwickelt und wo sie noch besser werden muss.