Gemini kan nu selv vælge, hvilke dele af en video den ser

Google har lanceret det, selskabet kalder agentisk videoforståelse, til modellerne Gemini 3.7 Flash, 3.6 Flash og 3.5 Flash-Lite. Funktionen er især møntet på udviklere, der bygger tjenester oven på Geminis AI-modeller.

Fra faste billeder til målrettet søgning

Hidtil har modellen læst en video med en fast billedrate. Som standard er det 1 billede i sekundet, men det kan justeres via API'et, som er den tekniske forbindelse, udviklere bruger til at tale med modellen.

Med den nye funktion kombinerer modellen sin ræsonnering med indbyggede videoværktøjer. Den kan selv søge i, scanne og undersøge udvalgte stykker af videoen på tværs af billeder, lyd og transskription (videoens tekstede tale).

Modellen vælger selv, hvad den ser, med hvilken hastighed og via hvilken modalitet, altså om den bruger billede, lyd eller tekst. Den henter kun de øjeblikke, den har brug for. Det sker i en løkke, hvor en intern funktion indlæser den relevante del af videofilen.

Google oplyser, at udviklere tidligere kunne gøre noget lignende manuelt, og at den nye funktion mindsker udviklingsarbejdet.

Googles tal: lavere forbrug, bedre nøjagtighed

Ifølge Google reducerer funktionen på tværs af standardbenchmarks for videoanalyse omkostningerne med op til 66 procent og tokenforbruget med op til 88 procent. Tokens er de små tekstenheder, en AI-model regner på, og de afgør typisk prisen. Samtidig stiger nøjagtigheden med op til 7 procent.

Bemærk, at alle tal er Googles egne benchmarkresultater, og at »op til« er de bedste udfald, ikke et typisk resultat. Det fremgår ikke af kilderne, at tallene er afprøvet af andre.

Google siger, at gevinsterne er størst for lange videoer, fra 10 minutters vejledninger til 90 minutters forelæsninger og optagelser på flere timer. Her tvinger den gamle metode udviklere til at vælge mellem høje tokenomkostninger eller metoder, der taber vigtige detaljer.

Nye muligheder

Google fremhæver øjeblikssøgning ned til under et sekund, mere præcis afvigelsesdetektion og præcis optælling. I en demo tæller Gemini 3.7 Flash en hurtig bevægelse ved at scanne og genafspille videoen med forskellige billedrater.

Google vurderer selv, at Gemini 3.7 Flash med funktionen giver den bedste samlede kvalitet og den bedste kombination af kvalitet og pris blandt de testede modeller. På benchmarken LongVideoBench for lange videoer viser Google modellen med og uden funktionen, med færre tokens og bedre nøjagtighed.

Sådan får man adgang

Funktionen er tilgængelig for uploadede videoer og YouTube-videoer via Gemini API i Google AI Studio og Gemini Enterprise Agent Platform. Den slås til ved at sætte API-konfigurationen til »agentic«.