Apple hat für Muse Spark Open mit MLX auf zwei Mac Studios rund 25 generierte Token pro Sekunde bei 8.192 Token Kontext gemessen.

Der Wert beschreibt den Durchsatz bei der genannten Kontextgröße. Apple setzte dafür MLX ein, das die Ausführung auf mehrere Geräte verteilt.

Über die Veröffentlichung der Modellgewichte und den lokalen Betrieb auf mehreren Mac Studios hatten wir bereits berichtet. Auch die Ausstattung mit zwei Mac Studios mit M5 Ultra und jeweils 512 GB gemeinsamem Arbeitsspeicher war schon Thema. Selbst die 4-Bit-Version benötigt 493 GB Speicher.

Zwei Angaben weichen von unserem früheren Artikel ab: Aktuell werden 40 Milliarden aktive Parameter pro Token genannt. Zuvor hatten wir 42 Milliarden angegeben. Beim Vergleich der Token-Erzeugung wird nun der M3 Ultra genannt, mit einem Faktor von 1,6 für den M5 Ultra. In unserem früheren Artikel stand an dieser Stelle der M4 Ultra.

Quellen:
Apple Machine Learning Research
Meta