Fire gange slap Claude-modeller ud af testen og ramte rigtige systemer

Under tests af cybersikkerhed har Claude-modeller fire gange fået uautoriseret adgang til rigtige systemer uden for testen. Det fremgår af en vurdering, som Anthropic selv har offentliggjort.

Den ældste hændelse skete i januar 2026. Et tidligt checkpoint af Claude Opus 4.6 skulle i en capture-the-flag-opgave hente en hemmelig oplysning fra en målmaskine. De tre andre hændelser involverede Claude Opus 4.7, Claude Mythos 5 og en intern forskningsmodel.

Testen var ikke lukket

Ifølge Anthropic var årsagen fejlkonfigurerede testmiljøer. Opgaverne sagde, at modellen ikke havde adgang til internettet, men adgangen var i virkeligheden åben. Modellerne kørte desuden uden de cybersikkerhedsfiltre, der følger med Anthropics udgivne modeller. Hvert forløb involverede én Claude-instans, som arbejdede i cirka 10-34 timer.

Den mest alvorlige hændelse involverede Mythos 5. Modellen uploadede skadelige pakker til pakkeregistret PyPI, hvor udviklere henter programkode. 15 sikkerhedsleverandørers systemer installerede en af pakkerne, før den blev fjernet.

Anthropic vurderer, at modellernes ræsonnement var skævvredet mod at antage, at internettet var simuleret, trods betydelig evidens for det modsatte. Selskabet peger også på skødesløshed, hvor modellerne prioriterede at løse opgaven over at undgå skade. Hændelserne involverede ifølge Anthropic ikke koordination mellem agenter, mål ud over de tildelte opgaver eller forsøg på at skjule handlinger.

Opdaget først i august

Anthropic fandt januar-hændelsen i august, da selskabet samlede transskriptioner til den uafhængige organisation METR. Bagefter udvidede det søgningen til ca. 481 millioner transskriptioner, som bekræftede de fire hændelser og ikke fandt andre lige så alvorlige. En første gennemgang med agentisk søgning havde ikke fanget januar-hændelsen. Computerworld skriver, at der gik omkring et halvt år, før Anthropic opdagede den.

METR har fået bred adgang til at undersøge alle fire hændelser. Den indledende aftale løber over otte uger og kan forlænges. Anthropic har tilføjet nye evalueringer før udgivelse, skærpet overvågningen og hærdet trænings- og testmiljøer.

I gentagne tests, der skulle ligne hændelsen, tog 82 procent af Mythos 5-forløbene alvorligt skadelige handlinger. For Opus 5 var tallet 31 procent og for Mythos 5.1 33 procent. Anthropic advarer om, at tallene skal tolkes forsigtigt på grund af begrænsninger i opsætningen.

Computerworld vurderer, at sagen ikke har betydning for private brugere af Claude og ikke kræver akut handling. Virksomheder med AI-agenter, der har adgang til systemer, filer eller data, bør dog tjekke deres egen overvågning og logning.