Adobe Firefly: KI-Werkzeuge für Musik, Sprache und Soundeffekte starten

Adobe stellt die Firefly-Werkzeuge Generate Music, Generate Speech und Generate Sound Effects allgemein bereit. Nach Angaben des Unternehmens sind die damit erzeugten Musikstücke, Sprachaufnahmen und Geräusche für die kommerzielle Nutzung freigegeben.

Generate Music erstellt nach Angaben von Adobe lizenzierte Musikstücke, die sich an Länge und Stimmung eines Videos ausrichten lassen. Das Werkzeug kann den Inhalt eines Videos analysieren und daraus bearbeitbare Vorschläge für Eingaben ableiten. Anschließend lassen sich unter anderem Tempo, Energie und Dauer festlegen. Firefly erzeugt vier Varianten zur Auswahl.

Mit Generate Speech werden Skripte in Sprachaufnahmen umgewandelt. Dafür stehen laut Adobe ein eigenes Firefly-Sprachmodell sowie ElevenLabs zur Wahl. Einzelne Passagen eines Textes können mit Hinweisen für Aussprache und Ausdruck versehen werden.

Generate Sound Effects soll Klänge passend zu Handlung, Timing und Dynamik einer Szene erzeugen. Neben einer Texteingabe kann auch ein eingesprochener Sound als Vorlage dienen.

Die drei Funktionen stehen in der Webversion von Firefly auf Desktop- und Mobilgeräten bereit. Adobe erklärt, die damit erzeugten Inhalte seien für die kommerzielle Nutzung freigegeben. Gerade bei Musik nennt Adobe Lizenz- und Urheberrechtsfragen sowie Lizenzkosten als wichtige Hürden für Kreative.

Zugleich erweitert Adobe die Modellauswahl von Firefly um Gemini Omni Flash von Google. Das multimodale Modell verarbeitet neben Texteingaben auch Video-, Audio- und Bildmaterial. Damit sollen sich Videoinhalte im Dialog mit dem Modell entwickeln und über mehrere Bearbeitungsschritte verändern lassen.

Gemini Omni Flash ergänzt die bereits in Firefly verfügbaren Modelle von Adobe und weiteren Anbietern. Firefly entwickelt sich damit weiter zu einer Plattform, die unterschiedliche KI-Modelle und Werkzeuge für die Medienproduktion bündelt.

Quelle:
Adobe