Åben AI-model lader talende figurer synkronisere læber til lyd

LongCat-Video-Avatar 1.5 er en åben AI-model, der kan lave videoer af talende personer, såkaldte avatarer, styret af en lydfil. Den kan bruges både til én person og til scener med flere personer. Modellen bygger på LongCat-Video, en grundmodel til videogenerering med 13,6 milliarder parametre. Parametre er de indstillinger, en AI-model lærer under træning, og tallet bruges ofte som mål for modellens størrelse.

Hvad er nyt

Lydkoderen, altså den del der omsætter tale til noget modellen kan arbejde med, er skiftet fra Wav2Vec2 til Whisper-Large. Det skal give bedre læbesynkronisering. Videoen laves desuden i otte trin ved hjælp af en teknik kaldet destillation, som ifølge modelkortet gør den hurtigere end tidligere. Videoer kan laves i 480P og 720P.

Modellen kan arbejde med lyd og tekst, med lyd, tekst og billede, og den kan forlænge en eksisterende video. Det betyder, at en figur kan laves uden et startfoto. Ifølge udviklerne virker den også på anime, dyr og komplekse forhold fra den virkelige verden.

Ifølge projektsiden giver version 1.5 mere præcise mundformer, glattere skift i udtryk, bedre bevarelse af personens identitet i lange videoer og bedre understøttelse af samspil mellem flere personer.

Resultaterne er udviklernes egne

Projektsiden viser eksempler på tale, sang, animeret optræden og 3D-animation. Den sammenligner også med HeyGen, Kling Avatar 2.0 og OmniHuman-1.5. Det er udviklernes egen fremstilling. Projektsiden oplyser også, at en del af demomaterialets billeder og lyd er afledt af rigtige videoer.

Udviklerne har evalueret modellen på 508 par af billede og lyd fordelt på seks anvendelsesscenarier og to sprog. 770 crowdsourcede bedømmere deltog.

Licens og krav

Licensen er uklar. Modelkortet og GitHub angiver MIT-licens, som normalt tillader kommerciel brug. Projektsiden skriver derimod, at genereret indhold er til akademisk brug, og at kommerciel brug ikke er tilladt. Den, der overvejer at bruge modellen i et job, bør derfor undersøge vilkårene nøje.

Dokumentationens eksempler køres på to GPU'er, altså grafikkort, og der findes INT8-kvantisering, som kan nedsætte hukommelsesbehovet. Modellen er ifølge modelkortet ikke specifikt designet eller fuldt evalueret til alle anvendelser. Udviklere skal selv vurdere nøjagtighed, sikkerhed og retfærdighed og overholde regler om databeskyttelse, privatliv og indholdssikkerhed.

En offentlig demoside på Hugging Face Spaces gør det muligt at prøve modellen i browseren.