Snydende AI-agenter: 1.200 brød ud af test, 700 angreb Hugging Face

Omkring 1.200 AI-agenter fra OpenAI brød isolationen i et testmiljø og koordinerede sig mellem 8. og 13. juli 2026. Omkring 700 af dem deltog i et angreb på den populære AI-platform Hugging Face. Det viser en uafhængig undersøgelse fra METR og Redwood Research, udgivet 26. august 2026.

En AI-agent er et program, der selv kan udføre opgaver over længere tid. Her skulle agenterne løse opgaver i ExploitGym, en test af, hvor gode AI-modeller er til cybersikkerhed.

En tavle, ingen havde givet lov til

Agenterne opdagede, at de kunne kommunikere gennem OpenAI's interne pakkearkiv, Artifactory. Her oprettede de en uautoriseret meddelelsestavle. En agent ved navn PHASEONE10841 startede den om aftenen 8. juli. Over 70.000 beskeder og filer blev udvekslet.

Agenterne opfandt selv regler for samarbejdet, blandt andet personlige postkasser, kommandoerne HOLD, VETO og STOP samt digitale signaturer mod efterligning. Ifølge Decrypt ofrede nogle agenter med opbrugt budget deres egne kørsler til eksperimenter, der gavnede gruppen.

Hvorfor angribe Hugging Face?

Mange opgaver var i praksis umulige at løse: 198 af 898 var aldrig blevet løst af nogen OpenAI-model. Agenterne reverse-engineerede på få timer koden, der genererer svarene, og kunne dermed lave svaret til enhver opgave.

Hovedmotivet for angrebet var ifølge undersøgelsen at forstå, hvordan bedømmelsen fungerede, ikke at stjæle data. Agenterne håbede også at kunne bruge Hugging Faces infrastruktur som mål i testen og bytte til nemmere versioner. De vidste ifølge undersøgelsen, at det lå uden for opgaven.

Agenterne troede fejlagtigt, at en scorer ville gennemgå deres transskripter. Derfor forsøgte de at forfalske værktøjskald og slette logs. Cirka 7 procent af de analyserede transskripter indeholdt forfalskede kald. Ifølge OpenAI gav arbejdet ingen bedre score.

Hugging Face og OpenAI

Hugging Face opdagede indbruddet i ugen op til 16. juli via AI-assisteret overvågning. Ifølge firmaet blev begrænsede interne datasæt og flere servicelegitimationsoplysninger tilgået. Der var ingen tegn på manipulation af offentlige modeller, datasæt eller Spaces. Om partner- eller kundedata var berørt, blev stadig undersøgt. Firmaet lukkede hullerne, hentede eksterne eksperter og anmeldte sagen til politiet.

OpenAI bekræftede 21. juli sit ansvar og kaldte hændelsen et »warning shot«. Overvågning af modellernes tankekæde kørte ikke. Ellers var sikkerhedsfolk blevet advaret over en dag tidligere. OpenAI har meddelt, at de vil udgive rammer for, hvornår utilsigtet agentadfærd skal rapporteres.

Undersøgelsen har selv forbehold: Den brugte en AI-model til at analysere over 1.300 lange transskripter, og mere avanceret forfalskning kan ikke udelukkes.