Googles nye AI-model Lumiere genererer video ud fra tekst

AI kan ikke kun bruges til at generere udførlige tekstbaserede svar på simple forespørgsler eller prompts. Teknologien kan også bruges til at generere video, omvend opgaven er noget mere kompliceret at løse.

Et skridt imellem de to teknologier har været at omdanne tekst til billeder – bedst kendt fra blandt andet DALL-E og Midjourney.

Nu har Google præsenteret sit bud på næste generations AI-baserede algoritme til at generere video ud fra tekst.

It-giganten har i en forskningsartikel udgivet i arXiv offentliggjort Lumiere. Det er en AI-baseret tekst til video-generator, som omdanner tekst til ganske overbevisende videoklip. Googles nye AI-algoritme er opkaldt efter Lumiere-brødrene, som opfandt filmapparatet.

Læs også: Hvad er kunstig intelligens? Sådan ser fremtiden med AI ud

Banebrydende AI-videogenerator

Ifølge forskerne er der tale om en “banebrydende” implementering af den såkaldte Space-Time U-Net-arkitektur, der genererer hele den tidsmæssige sekvens af videoen på én gang”. For slutbrugeren giver det en utrolig simpel brugeroplevelse.

Ligesom man kan skrive hvad som helst og få genereret et vellignende foto i DALLE 3, kan Lumiere også generere en vellignende video ud fra en tilsvarende prompt. Det kan være en prompt, der hedder ”to vaskebjørne læser bøger sammen”.

 

En ung kvinde klædt i en lysegul jakke, der går i en udendørs skov set bagfra	Selvsikker bamsesurfer rider på bølgen i troperne	Videoklip om chokolademuffins
Panda spiller ukelele derhjemme	Luftfoto af farverigt fyrværkeri, der eksploderer på nattehimlen	Chokoladesirup hældt på vaniljeis

Selv om tekst til video-generatorer er set før, adskiller Lumiere sig ved at have høj opløsning, og så fremstår videoerne utrolig virkelighedsstro og realistiske.

Omvendt er det fortsat tydeligt at se, at der er tale om AI-genererede billeder, som er sat sammen til en filmsekvens. Det vil dog bringe helt nyt liv og dynamik til AI-genererede billeder, nu hvor der kan foregå bevægelse på motiverne.

På projektets hjemmeside har forskerne bag Lumiere har offentliggjort en lang række demoer og en reklamevideo, der viser en lang række af overbevisende videoer genereret ud fra en simpel prompt.

Effektivt værktøj til manipulation af video

I videoen ser man også, at Google har tilføjet en række nye funktioner, som hidtil ikke har været set. Blandt andet er der mulighed for at redigere en eksisterende video ved at fremhæve en del af videoen og skrive en prompt såsom ”skift kjolens farve til rød”.

Værktøjet er altså ikke kun i stand til at skabe egne videoer fra bunden, men er lige så velegnet til at manipulere eksisterende videoer.

Lumiere er også i stand til at generere videoer i forskellige stilarter, ligesom man kender fra billedgeneratorer. Det kan være alt fra et maleri og stregtegning til fotorealistisme.

Vil gøre det nemmere at skabe visuelt indhold

Det er uvist, hvornår Lumiere bliver lanceret som en AI-tjeneste, som alle og enhver kan bruge. Indtil videre eksisterer algoritmen kun internt hos Google, men teknologien bag er altså forklaret nøje i den nye forskningsartikel.

Forskerne bag oplyser selv på projektets hjemmeside, at deres ”primære mål med dette arbejde er at gøre det muligt for uerfarne brugere at generere visuelt indhold på en kreativ og fleksibel måde.”

De anerkender dog også, at der er ”en risiko for misbrug til at skabe falsk eller skadeligt indhold med vores teknologi. De mener derfor, at det er ”afgørende at udvikle og anvende værktøjer til at opdage bias og ondsindede brugssager for at sikre en sikker og fair brug.”

Læs også: Nyheder om kunstig intelligens