AI-sikkerhed bør bygges som i atomkraftværker, lyder kritik

Atomkraftværker er bygget, så en enkelt fejl aldrig kan føre til en ulykke. Nu lyder kravet, at avanceret AI skal sikres på samme måde. Debatten handler om, hvor godt det i dag lykkes.

Hvad er sikkerhedslag?

Idéen hedder på fagsprog »defense in depth«, altså forsvar i dybden. Princippet er at have flere, overflødige og indbyrdes uafhængige sikkerhedsmekanismer. Hvis ét lag svigter, griber det næste ind.

Vigtigst er ordet uafhængige. To lås, der kan åbnes med samme nøgle, giver ikke dobbelt sikkerhed.

Firmaerne siger det, men gør det ikke fuldt ud

Anthropic, Microsoft og OpenAI har alle udgivet sikkerhedsdokumenter, hvor de nævner, at de vil bruge forsvar i dybden på deres mest avancerede AI-systemer.

En forskningsanalyse fra to tyske forskere, blandt andre Leonard Dung fra Ruhr-Universität Bochum, når dog en anden konklusion. De mener, at de gængse sikkerhedsmetoder ikke lever op til princippet. Metoderne er ikke uafhængige, og i visse scenarier, som er forholdsvis lette at forudse, kan de alle svigte på samme tid.

Dung siger ifølge diskussionen om analysen, at den grundlæggende måde at tænke risiko på, som man kunne forvente af disse firmaer, ikke er blevet indført.

Erfaring fra atomkraft

I debatten fremhæves blandt andre Heidy Khlaaf, som tidligere var senioringeniør inden for systemsikkerhed hos OpenAI. Hun har også erfaring fra sikkerhedsrevisioner af atomkraftværker og er i dag cheføkonom for AI ved AI Now Institute. Det har ikke været muligt at bekræfte hendes ordlyd i den konkrete artikel, som overskriften bygger på.

Hvad betyder det for dig?

AI bruges i dag til alt fra kundeservice til sundhedsråd og kode. Når systemerne bliver mere magtfulde, bliver spørgsmålet om, hvad der sker, når sikkerhedsfunktionerne svigter, mere presserende. Kritikerne siger ikke, at AI er farlig i hverdagen. De siger, at de beskyttelser, der i dag beskrives som flere lag, i praksis kan ligne ét lag, hvis de svigter af samme grund.

Der er også modargumenter. En kommentator på diskussionen peger på, at en meget intelligent modstander kan udløse fejl, som normalt ikke hænger sammen, på samme tid. Det er et problem, atomkraftværker ikke har på samme måde.