Billig AI-model bestod kun halvdelen af svære arbejdsopgaver

Kinesiske DeepSeek har lanceret modellen V4 Flash, og den er billig at bruge. Men en ny test fra firmaet Composio viser, at den kun lige klarer halvdelen af mere krævende arbejdsopgaver.

Composio lod modellen køre i otte forskellige agent-harnesses. Et harness er det program, der omgiver en AI-model og lader den bruge værktøjer og udføre opgaver selvstændigt. Blandt dem var Claude Code, Codex, OpenCode og Hermes Agent. Opgaverne var 30 bevidst svære arbejdsgange med flere trin, hvor modellen skulle bruge rigtige tjenester som Gmail, Google Calendar, Google Sheets, GitHub, Slack og Airtable. Hver opgave havde en tidsgrænse på 900 sekunder, og resultaterne blev kontrolleret programmatisk og ikke af en anden AI.

Store forskelle mellem værktøjerne

Samlet bestod 129 af 240 kørsler, svarende til 53,8 procent. Kun 6 af de 30 arbejdsgange lykkedes i alle harnesses.

Pi Agent klarede sig bedst med 66,7 procent, efterfulgt af Prime Agent med 62,5 procent. Her blev seks kørsler dog udeladt på grund af timeouts og registreringsfejl. Nederst lå OpenCode med 46,7 procent. Claude Code, Codex og DeepAgents lå alle på 53,3 procent.

Composio konkluderer, at harnesses kan betyde lige så meget som de modeller, de kører, og at ingen enkelt harness er bedst på både beståelsesprocent, hastighed og pris.

Prisen er lav, men er den reel?

Ifølge mediet Crypto Briefing koster V4 Flash 0,14 dollar pr. million inputtokens (små tekstenheder, som AI-modeller regner i). Det er omkring en tiendedel af sammenlignelige amerikanske modeller. Mediet vurderer dog, at besparelsen forsvinder, hvis man medregner de fejlede kørsler og tiden til fejlsøgning. DeepSeek udbyder ifølge Crypto Briefing modellen som offentlig beta.

Hallucinationer afhænger af tilstand

En udvikler testede på udgivelsesdagen 31. juli 2026, hvor ofte modellen finder på ting. Han stillede 10 vanskelige spørgsmål om emner, der ikke findes eller ikke kan kendes. I tænketilstand, hvor modellen ræsonnerer undervejs, var hallucinationsraten cirka 0 procent. Men fem af ti spørgsmål gav et helt tomt svar, fordi modellen brugte hele sit outputbudget på at tænke.

I ikke-tænketilstand var der ingen tomme svar, men hallucinationsraten lå på cirka 20 procent. Det handlede mest om opdigtede værker med opfundne forfattere og plots.

Testet er lille, og kun kørt på én dag, så det er vejledende. Udvikleren sammenligner med en rate på 94-96 procent, som cirkulerede efter en forhåndsudgivelse i april. Han mener, at den stabile version er markant bedre, og anbefaler ikke-tænketilstand til agent-arbejdsgange.

For almindelige brugere er pointen, at en billig model ikke nødvendigvis er billigere i praksis, og at valget af værktøj omkring modellen kan have stor betydning.