Test: Seks AI-værktøjer kæmpede om at lave musikvideo

Kan et AI-program lave en hel musikvideo, der hænger sammen fra start til slut? Det ville filmsitet Film Threat undersøge ved at køre den samme tre minutter lange sang gennem seks forskellige AI-værktøjer: BeatViz, Freebeat, Neural Frames, Kaiber, Runway og Kling.

De fleste AI-videoværktøjer er gode til at lave korte, flotte klip på nogle få sekunder. Udfordringen opstår, når man skal sætte mange klip sammen til en hel sang. Testen kiggede derfor på fem ting: om personerne i videoen ser ens ud gennem hele forløbet (karakterkonsistens), om overgangene mellem scener flyder naturligt, om læberne følger sangens ord (lip sync), om man kan rette fejl i enkelte scener, og om værktøjet overhovedet kan klare en hel sang og ikke bare korte snip.

Runway og Kling lavede ifølge testen flotte enkeltklip, men kunne kun generere op til ti sekunder ad gangen. Det betyder, at man skal stykke rigtig mange klip sammen for at lave en tre minutter lang video, hvilket let giver skæve overgange og figurer, der pludselig ser anderledes ud. Kaiber var god til farverige, abstrakte billeder, der følger musikkens rytme, men manglede en sammenhængende historie.

Neural Frames og Freebeat klarede sig bedst af de øvrige. Begge starter med at analysere musikken og har funktioner, der holder fast i, hvordan figurerne ser ud gennem hele sangen.

Testens vinder blev BeatViz, som ifølge artiklen behandler hele musikvideoen som ét samlet projekt: Værktøjet analyserer musikken, planlægger scener og lader brugeren godkende, hvordan hver figur og hvert miljø ser ud, før resten af videoen bliver lavet.

Konklusionen fra testen er, at det ikke er nok, at et AI-værktøj kan lave ét godt klip. Det svære er at holde styr på dusinvis af scener, så videoen føles som én sammenhængende film og ikke bare en række tilfældige klip limet sammen. For almindelige brugere, der overvejer AI til musikvideoer, er pointen altså: se efter værktøjer, der er lavet til hele sange, ikke kun korte snip.

Det betyder det for dig

Skal du selv prøve kræfter med AI-musikvideoer, bør du vælge et værktøj bygget til hele sange frem for korte klip. Planlægger figurer, miljøer og stemning fra starten, slipper du for skæve overgange og personer, der skifter udseende undervejs. Det gør det nemmere for både musikere og indholdsskabere at lave en sammenhængende video uden at skulle klippe mange korte stumper sammen selv.