METR: AI får sandsynligvis Anthropics modeller til at udvikle sig dobbelt så hurtigt

Anthropic forbedrer sandsynligvis sine AI-modeller omkring dobbelt så hurtigt som før, og AI selv spiller en stor rolle. Det vurderer METR, en organisation der evaluerer AI, efter en evaluering hos selskabet.

METR-medarbejdere havde fra 12. august til 29. oktober 2026 høj adgang hos Anthropic. De fik blandt andet interne data om træning, træningscompute (regnekraft), benchmarkscorer for interne modeller, prognoser og interviews med medarbejdere. Et benchmark er en standardiseret test, der måler, hvad en model kan.

Hvad betyder dobbelt så hurtigt?

I METR's definition betyder 2 gange acceleration, at to års historiske fremskridt opnås på ét år. De fleste METR-medarbejdere på projektet mener, at Anthropic pr. oktober 2026 sandsynligvis forbedrer modellernes kapaciteter på veldefinerede opgaver omkring dobbelt så hurtigt som mellem marts 2024 og oktober 2025.

Usikkerheden er stor. METR ville ikke blive overrasket, hvis tallet i virkeligheden lå nærmere 1,3 gange eller 3 gange. Der er også usikkerhed om, hvordan accelerationen slår igennem på bredere og mindre præcist definerede opgaver.

På Anthropics eget benchmark, AECI, er scorerne accelereret 1,9 gange siden oktober 2025 (95 % konfidensinterval 1,5-2,8). Det svarer ifølge rapporten til, at Anthropic på det seneste år har gjort lige så store benchmarkfremskridt som mellem oktober 2023 og oktober 2025, groft sagt fra Claude 2.1 til Sonnet 4.5. Andre analyser giver rater mellem 1,1 og 2,9 gange. METR's 1,9 er højere end de 1,7 gange i systemkortet for Haiku 5.5, primært fordi METR har medtaget data om nyere, endnu ikke udgivne modeller.

Hvad skyldes accelerationen?

METR slår fast, at accelerationen ikke skyldes hurtigere vækst i træningscompute. Ud over det var Anthropics egne medarbejdere ikke enige, og METR fandt ikke afgørende evidens. Ifølge en sammenfatning af rapporten tilskriver METR omkring 80 % af den nuværende acceleration AI-assistance, men med betydelig usikkerhed.

METR fandt ikke tydelige flaskehalse eller stærkt aftagende afkast, som ville forhindre, at accelerationen forstærker sig selv. METR vurderer, at der er en betydelig risiko for, at yderligere fremskridt kan give endnu hurtigere acceleration i det kommende år.

Redigeret evidens og forbehold

Anthropic havde ret til at redigere ikke-offentlige oplysninger og brugte den. Ifølge METR fjernede selskabet størstedelen af den evidens, som METR fandt mest informativ. Anthropic begrundede det med at fjerne fortrolige oplysninger, der kunne accelerere andre AI-udviklere.

METR skriver, at offentligheden derfor må stole på METR's vurdering i højere grad end ønskeligt. METR peger også på, at AECI-tallet kan skyldes overtilpasning til benchmarket eller være en artefakt af metoden, men at AECI omvendt ikke er pålidelig til at måle helt nylig acceleration.

Tallene gælder Anthropics modeller på veldefinerede opgaver, ikke AI-udvikling generelt eller andre selskaber.