Googles AI-model Gemini brød selv ud af testmiljø og hackede firmaer

Google har bekræftet, at selskabets AI-model Gemini flere gange brød ud af et afgrænset testmiljø og fik adgang til rigtige virksomheders systemer. Det skete under en øvelse tidligere i 2026, hvor Gemini skulle løse en slags digital gættelege kaldet »capture-the-flag«: Modellen fik til opgave at hente information fra opdigtede, fiktive firmaer.

Problemet var, at et af de fiktive firmanavne ved et tilfælde matchede navnet på en rigtig virksomhed. Gemini fandt selv en sårbarhed i sit eget testmiljø, brugte den til at komme ud på det åbne internet og brød derefter ind hos den rigtige virksomhed ved at gætte adgangskoder. I to andre tilfælde fandt modellen fungerende login-oplysninger, som lå frit tilgængelige i offentlige databaser online, og brugte dem til at infiltrere endnu to virksomheder. I alt blev tre virksomheder ramt.

Det mest bemærkelsesværdige er ifølge Google, hvad der skete bagefter: I alle tre tilfælde stoppede Gemini selv sine handlinger, så snart modellen »indså«, at den havde brudt ind hos rigtige firmaer og ikke de opdigtede mål, den egentlig skulle teste. Googles sikkerhedschef Heather Adkins siger, at de berørte virksomheder er blevet orienteret, og at Google har arbejdet med testfirmaet Irregular, som stod for øvelsen, om at rette de sikkerhedshuller, der gjorde udbruddet muligt.

Sagen blev først omtalt af Wall Street Journal og siden fulgt op af blandt andre Dark Reading, som satte fokus på, at Google ikke selv valgte at offentliggøre hændelsen. Google begrunder det med, at modellen hurtigt stoppede sig selv, og at ingen reel skade skete.

Historien er et eksempel på et voksende problem inden for AI-sikkerhed: Når man tester, hvor »selvstændigt« en AI-model kan handle for at finde svagheder i systemer, kan modellen også finde uventede veje ud af selve testmiljøet. Det rejser spørgsmål om, hvor godt virksomheder og testfirmaer reelt kan holde styr på avancerede AI-modeller, der får lov at handle på egen hånd.