Claude eller Gemini? Forskellen er mindre, end tallene antyder

Hvem er bedst, Anthropics Claude eller Googles Gemini? Svaret afhænger af, hvilke modeller man sammenligner, og hvad man skal bruge dem til.

Tjenesten BenchLM, der samler testresultater og priser, giver Claude Opus 5.5 en samlet score på 85,4 og placerer den som nummer ét. Gemini 4 Argon får 80,6 og ligger nummer seks. Forskellen er altså ca. 5 point. Det er ikke oplyst, hvordan BenchLM regner den samlede score ud, og Argon-tallet er kun markeret som »estimated«, altså et skøn. Modellen findes nemlig kun i begrænset preview.

Sammenligner man de to modeller i samme prisklasse, er forskellen mindre: Claude Sonnet 5.5 får 82 hos BenchLM, mens Gemini 4 Argon får 81. Gemini 3.8 Flash får 72.

Kodning: Tallene er udviklernes egne

På kodetesten Terminal-Bench 4.0 scorede Claude Sonnet 5.5 70,6 procent, Claude Opus 5.5 66,4 procent, Gemini 4 Argon 57,4 procent og Gemini 3.8 Flash 19,1 procent.

Det er dog udviklernes egne opgivne resultater, som rekrutteringsfirmaet Second Talent gengiver. Det er ikke uafhængige tests, så tallene bør læses med det in mente.

Pris: Kun Flash er klart billigst

Priserne er pr. million tokens, altså små tekststykker, som AI-modeller regner i. Første tal er for det, man sender ind, andet for det, modellen skriver.

- Gemini 3.8 Flash: 0,75 / 3,75 dollar - Claude Sonnet 5.5: 2 / 10 dollar - Gemini 4 Argon: 2 / 10 dollar - Claude Opus 5.5: 4 / 20 dollar

Gemini 3.8 Flash er altså billigst. Gemini 4 Argon koster det samme som Sonnet 5.5, og 2/10 dollar er en introduktionspris. Den stiger senere til 4/20 dollar, som er Opus-niveau. Argon er dermed kun billigere end Opus til introduktionsprisen. Flash-prisen er planlagt fordoblet til 1,50 / 7,50 dollar den 1. januar 2027.

Ifølge Artificial Analysis, gengivet af Second Talent, koster en indekseret opgave 5,98 dollar med Opus 5.5, 1,99 dollar med Gemini 4 Argon (introduktionspris) og 1,24 dollar med Gemini 3.8 Flash. Flash er også hurtigere: ca. 242 tokens i sekundet mod ca. 97 for Opus.

Hvad anbefaler kilderne?

BenchLM vurderer, at Claude dominerer ranglisterne for kodning og agent-opgaver, hvor AI arbejder selvstændigt gennem flere trin. Tjenesten anbefaler Opus 5.5, når en fejl koster mere end modellen, og Gemini, hvor omkostning og kapacitet er vigtigst. Flash-modeller bør testes, før de bruges i autonome arbejdsgange.

Second Talent vurderer på samme måde, at Claude stadig er bedst til komplekse opgaver med langsigtet planlægning, mens Gemini Flash passer bedst til store mængder veldefinerede opgaver.

For almindelige brugere er pointet, at et enkelt tal sjældent afgør valget. Pris, hastighed og opgavetype betyder mindst lige så meget.