Et enkelt billede kan blive til et helt rum i 3D

Forestil dig, at du tager ét billede af en stue og får en AI til at gætte, hvordan resten af rummet ser ud, og lade dig se det fra helt andre vinkler. Det er den idé, som firmaet World Labs viser frem med sin nye model Atlas.

Firmaet kalder Atlas sin næste generation af »verdensmodel«. Det er en AI, der skal kunne generere, rekonstruere og simulere mulige verdener. Ifølge World Labs kan den bruges til kreative formål, til realistisk simulering af den virkelige verden og til at hjælpe robotter med at planlægge, hvad de skal gøre.

Fra billeder til rum

Atlas kan tage ét eller flere referencebilleder og lave nye billeder fra en kameraplacering og en kameravinkel, man selv vælger. De nye visninger skal passe til de oprindelige billeder og samtidig udvide scenen ud over det, man kunne se.

I firmaets eksempler gætter modellen blandt andet på, hvordan en robots bagside ser ud, og at der ligger en græsplæne ved siden af en pool, selv om det ikke fremgår af billedet.

Kameraets placering er en indbygget del af det, modellen får at vide. Derfor styres kameraføringen præcist og ikke kun med tekstbeskeder som »zoom ind«.

Man kan også placere to urelaterede billeder i et 3D-rum, og så genererer Atlas en verden, der glider jævnt mellem dem, med for eksempel døråbninger og gange. World Labs viser en video på ét minut i 1440p-opløsning, lavet ud fra få billeder og en håndlavet kamerasti.

Rum uden særligt udstyr

Atlas kan ifølge World Labs også rekonstruere virkelige rum ud fra et eller flere billeder, uden særligt optageudstyr eller hundredvis af tætte billeder. De dele af scenen, der mangler, udfyldes med et plausibelt gæt.

Firmaet mener, at Atlas er et stort skridt mod at løse et årtier gammelt problem i 3D-computersyn: at skabe nye synsvinkler ud fra meget få billeder.

Under motorhjelmen

Atlas er trænet fra bunden til at arbejde med tekst, billeder, video og 3D på én gang, og World Labs kalder den en »omni-model«. Teknisk er den en multimodal autoregressiv diffusionstransformer. Alle input samles i en fælles rumlig kontekst, og modellen bruger den til at generere det, der kommer næste gang, så resultatet hænger sammen i 3D.

World Labs oplyser, at modellen bliver bedre, når der bruges mere regnekraft til træningen, og forventer, at det fortsætter, når den skaleres op.

Atlas skal drive fremtidige versioner af firmaets produkt Marble og andre af produkterne. Det fremgår ikke af kilden, hvornår eller hvordan modellen bliver tilgængelig for brugere. Eksemplerne og kvalitetspåstandene kommer alle fra World Labs selv.