Taleassistent med to hjerner skal lære at tie, når du taler

Alle kender det fra stemmeassistenter: Du taler, og den falder ind i utide. Eller den går helt i stå, mens den tænker. Tencents forskere har bygget en model, Gander, der skal løse netop det.

Gander er en forskningsmodel fra Tencents Hunyuan Speech-team sammen med forskere fra flere universiteter. Den tager tale, billeder, video og tekst ind på samme tid - også mens den selv taler.

To roller i én model

Idéen er at dele arbejdet. En del, som forskerne kalder en lillehjerne, tager sig af selve samtalen i realtid. En anden del, hjernen, ræsonnerer og løser komplekse opgaver i baggrunden.

Samtalen deles i stykker på ét sekund. I hvert stykke beslutter lillehjernen, om den skal lytte, tale eller stoppe. Det sker uden et separat modul, der registrerer, hvornår tale begynder og slutter. Som hukommelse bruger modellen cirka de seneste to minutter af samtalen.

Brugeren kan afbryde når som helst. Modellen kan også selv give statusopdateringer og stille opfølgende spørgsmål, uden at nogen beder den om det.

Hjernen er en generel agent uden opgavespecifik træning i Gander. Den kan i princippet skiftes ud med agentsystemer som Codex eller Claude Code, uden at samtalemodellen skal trænes om. I testene brugte forskerne en uspecificeret model fra OpenAIs GPT-5.6-familie.

Færre afbrydelser, men svagere på andet

På testen Full-Duplex-Bench v3 begyndte Gander ifølge rapporten at tale på det rigtige tidspunkt i alle 100 scenarier. Den afbrød brugeren i 8 procent af tilfældene. For GPT-Realtime var tallet 13,5 procent, og for den svageste konkurrent knap 48 procent.

Gander ligger dog lidt efter på opgavenøjagtighed. Forskerne forklarer det delvist med, at testen vurderer hele systemet, så fejl i talegenkendelse og svar tæller med. Video- og lydforståelsen blev desuden dårligere. I én test klarede Gander sig dårligere end sin basismodel, og forskerne peger på, at træningen prioriterer flydende samtale over præcis opfattelse, fx at tælle og finde objekter i billeder.

Modellen blev trænet på omkring 2,7 millioner eksempler. Nogle af dem lærer den at tie ved baggrundsstøj, eller når ingen i en gruppe taler til den.

Forbehold og planer

Alle tal kommer fra forfatternes egen tekniske rapport. De er ikke uafhængigt verificeret, og rapporten er ikke fagfællebedømt. Forskerne kalder selv arbejdet tidligt og peger på, at der ikke findes en standardmetode til at teste den slags systemer.

Gander er en forskningsmodel og kan ikke bruges som hverdagsassistent endnu. Teamet vil udgive modelvægte og træningsdata, når deres open source-proces er gennemført. Kode ligger allerede i et GitHub-repositorium, og demoer findes på projektsiden.