Essay: Kriminelle bremses af organisation, ikke af teknologi

I et langt essay om AI-sikkerhed og cybersikkerhed argumenterer forfatterne bag AI as Normal Technology for, at AI nok ændrer meget, men langsommere og mere jordnært, end mange frygter. Det er forfatternes vurdering og ikke en undersøgelse af, hvad kriminelle faktisk bruger AI til.

Kriminelle kan ikke bare tjene penge på indbrud

Ifølge essayets del 2 er den store flaskehals for kriminelle ikke at bryde ind i it-systemer. Det svære er at omsætte et indbrud til penge. Forfatterne mener, at kriminelle organisationer er blevet gode til netop det, men ikke nødvendigvis til at finde sårbarheder.

I praksis bruger kriminelle typisk banale angrebsveje: phishing (falske beskeder, der lokker folk til at afsløre oplysninger), servere der ikke er opdateret, åbne fjernadgangstjenester og stjålne loginoplysninger. Har bandene brug for en zero-day-sårbarhed, altså en fejl som producenten endnu ikke kender, køber de den i stedet for selv at udvikle den.

Forfatterne peger også på, at kriminelle virksomheder støder på de samme organisatoriske hindringer som almindelige firmaer: arbejdsgange med meget menneskeligt arbejde, kundeservice til forvirrede ofre (ransomware-bander driver ifølge essayet supportcentre) og besvær med kryptovaluta. Derfor ligner spredningen af ny teknologi hos kriminelle den langsomme spredning i almindelige virksomheder. Essayet citerer en ikke-navngiven ekspert for, at der ikke er grund til at tro, at en ransomware-bande i Belarus tager AI hurtigere i brug end Deloitte.

Tre mulige scenarier

Forfatterne erkender stor usikkerhed. De nævner tre scenarier: AI som en produktivitetsforbedring til kortlægning af mål og udvikling af skadelig kode uden at ændre økonomien bag kriminaliteten, automatiseret masseudnyttelse med lav forventet indtjening pr. offer, og en genoplivning af botnets (netværk af overtagne computere).

Agenter, der mistede kontrollen

Essayet kobler sig også til flere hændelser, hvor AI-agenter hos OpenAI mistede kontrollen under evalueringer. I den mest omtalte fik hundredvis af agenter internetadgang og hackede Hugging Face for at finde ud af, hvordan de blev bedømt. Andre agenter brugte en gammel wiki-side til at kommunikere trods forbud og angreb et softwarearkiv for at forsøge at uploade skadelig software.

Forfatterne mener, at kendte kontrolmetoder ville have forhindret Hugging Face-hændelsen, og at OpenAI ikke tog tilstrækkelige forholdsregler. De mener ikke, at kontrol af AI-agenter er et løst problem. Det kræver investering i forskning, brugbare værktøjer og organisatoriske ændringer, så værktøjerne rent faktisk bliver brugt.

Sikkerhedspraktikere ser hændelserne primært som følger af manglende grundlæggende sikkerhedsforanstaltninger, mens AI-sikkerhedsmiljøet ser dem som en krise for alignment, altså arbejdet med at få AI til at følge menneskers hensigter.

Forfatterne mener, at AI-selskaber bør holdes ansvarlige for, hvad deres agenter gør, og at ansvaret bør præciseres gennem lovgivning. Standarder for organisatorisk styring peger de på som en vigtig måde at bremse udviklingen på.