OpenAI-ekspert stopper: AI-firmaer bør drives som atomkraftværker

David Robinson har forladt OpenAI. Han ledede arbejdet med åbenhed i virksomhedens sikkerhedsteam og stod bag sikkerhedsrapporterne til 12 af OpenAI's største lanceringer.

I et essay i det amerikanske magasin The Atlantic advarer han nu om, at de førende AI-firmaer ikke gør nok for at begrænse teknologiens risici.

Atomkraftværker og lufthavne som forbillede

Robinson mener, at AI-firmaer bør drives som atomkraftværker eller travle lufthavne. Det betyder flere lag af sikkerhed, så en enkelt menneskelig fejl ikke kan føre til katastrofe, og grundig planlægning på forhånd.

Han skriver, at OpenAI »har trivedes ved trial and error«, altså ved at prøve sig frem og rette fejl bagefter. Ifølge ham betyder den tilgang, at der uundgåeligt kommer fejl, og at konsekvenserne af dem vokser, i takt med at AI-systemerne bliver mere kraftfulde.

Robinson peger også på, at han i hele sin tid hos OpenAI ikke arbejdede sammen med nogen, der havde opbygget erfaring fra områder med store sikkerhedskrav, fx flysikkerhed, atomkraft eller overvågning af finansielle systemer.

Eksempler, han nævner

Til at underbygge sin kritik nævner Robinson to konkrete forhold. Det ene er et indbrud på platformen Hugging Face, som blev udført af OpenAI's egne AI-agenter. Agenter er AI-programmer, der selv kan udføre opgaver og handle på egen hånd. Det andet er flere rapporterede tilfælde, hvor agenter under test har opført sig uden for kontrol.

Han mener, at et miljø, hvor den slags sker, ikke er det rette sted at bygge AI, som i fremtiden kan blive klogere end mennesker.

»Kulturen er i stykker«

Robinson beskriver Silicon Valleys »ekstreme selvtillid«, evindelige sprints og uhæmmede optimisme som en kultur, der undervurderer farerne ved stadig mere kapable modeller.

Hvad betyder det for dig?

Sagen er en insiders advarsel, ikke et bevis for, at en katastrofe er nært forestående. Men den føjer sig til en række sikkerhedsfolk, der har forladt AI-firmaer med kritik. For almindelige brugere understreger den, at spørgsmålet om, hvor sikre AI-værktøjer er, og hvem der kontrollerer dem, bliver stadig vigtigere, i takt med at AI får lov til at handle selvstændigt.