Einer der heiligen Grale des generativen KI-Storytellings ist die Fähigkeit, in Bildern und Videos Konsistenz zwischen den Charakteren zu schaffen. Jetzt hat MidJourney das etwas einfacher gemacht.
Die neue Funktion zur Charakterkonsistenz funktioniert ähnlich wie die Verwendung eines Referenzbilds für Stil und Szenen, konzentriert sich jedoch auf bestimmte Charaktereigenschaften, die im Quellbild zu finden sind.
Einer der Hauptanwendungsfälle dafür könnte darin bestehen, Graphic Novels zu erstellen oder die von MidJourney generierten Bilder in kurze Videoclips umzuwandeln und etwas wie die Lippensynchronisation von Pika Labs zu verwenden , um die Lippen zu animieren und eine Vielzahl von Szenen mit demselben Charakter zu ermöglichen.
Wie funktioniert die Charakterkonsistenz von MidJourney?
Wie alle MidJourney-Funktionen funktioniert die Zeichenkonsistenz durch das Anhängen eines Codes an das Ende der Eingabeaufforderung, in diesem Fall —cref und die URL des Bildes.
Es funktioniert am besten, wenn Sie MidJourney-Bilder als Quelle verwenden und nicht ein Foto oder eine Zeichnung, die außerhalb des AI-Bildgenerators erstellt wurde. Sie können jedoch auch andere Bilder verwenden.
Sie können auch das Tag –cw gefolgt von einer Zahl zwischen eins und 100 am Ende der Eingabeaufforderung nach dem –cref anwenden, um festzulegen, wie nah MidJourney am Quellbild bleiben soll.
Sie können einer Szene auch mehrere Charaktere hinzufügen, indem Sie ein zweites oder drittes –cref mit URLs zu jedem Quellbild verwenden. Wenn Sie –cw sehr hoch einstellen, wird alles erfasst, einschließlich Kleidung, Gesicht und Haare. Wenn Sie den Wert niedrig einstellen, konzentriert es sich nur auf das Kopieren des Gesichts, sodass Sie das Outfit wechseln können.
Wie gut funktioniert die Charakterkonsistenz von MidJourney?
Ich beschloss, es an einer Figur auszuprobieren, die ich für ein früheres KI-Soundeffektprojekt namens Jack Sloane erstellt hatte, einem Privatdetektiv der alten Schule Mitte 40.
Im Großen und Ganzen behielt er die Konstanz bei und trug seinen finsteren Blick und sein verwittertes Gesicht über jede Generation hinweg, sogar sein Outfit mit Hut und Mantel blieb erhalten.
Für die ersten paar Tests habe ich ihn in seinem Büro am Schreibtisch behalten und nur ein paar subtile Elemente geändert. Dann habe ich den –cw-Wert auf 40 gesenkt und die Eingabeaufforderung geändert, um ihn in ein etwas anderes Outfit zu stecken.
Er zog seine Jacke aus, behielt aber den Hut und den typischen finsteren Blick. Es funktionierte so gut, dass es bequem für einen neuen Rahmen in einer Graphic Novel oder einem Kurzfilm verwendet werden konnte.
Schließlich brachte ich ihn in den Flur und hatte eine zweite Figur, Lydia Carver – eine Frau, die nach ihrem vermissten Ehemann sucht – in der Szene mit Jack. Es hat gut geklappt, aber nicht gut. Auf zwei der vier Bilder waren zwei Jacks ohne Lydia zu sehen, bei einem war das Kleid falsch und bei einem war es ungefähr richtig apple music.
Was sind die Hauptanwendungsfälle?
Insgesamt hat MidJourney mit der Charakterkonsistenz gute Arbeit geleistet. Es erfordert einige sorgfältige Eingabeaufforderungen und das Erhalten des richtigen Quellbilds, aber es funktioniert.
Dadurch rückt die Ära des generierten Storytellings auch viel näher und ermöglicht eine neue Art der Inhaltserstellung über eine Vielzahl von Medien hinweg.
Ein brillanter Autor kann seine Kreationen jetzt einfacher als je zuvor visualisieren, ein Filmemacher kann Storyboards erstellen, die ihm beim Pitchen vor Investoren helfen, und andere können eine zufällige Idee in die Realität umsetzen.