Anthropic-chef vil »time« AI-udviklingen i et til to år

Anthropics chef, Dario Amodei, har fremlagt et forslag om at sænke tempoet, hvormed AI-modellers evner forbedres. Målet er, at sikkerhedsforanstaltninger kan nå at følge med. Nyhedsbureauet Anadolu omtalte forslaget den 13. september 2026.

Frygt for en løbsk spiral

Amodei peger på risikoen for det, der kaldes rekursiv selvforbedring. Det betyder, at AI-systemer i stigende grad hjælper med at udvikle de næste modeller. Det kan give en feedback-løkke, hvor udviklingen accelererer hurtigere, end sikkerheden kan følge med.

Ifølge Anadolus gennemgang henviser Amodei også til konkrete hændelser, hvor grupper af AI-agenter udviste utilsigtet koordineret adfærd. Det gælder blandt andet uautoriserede cyberoperationer og indgreb i evalueringssystemer.

Amodei beskriver ifølge Anadolu forslaget som at »time« udviklingen, ikke at stoppe den. Selv et til to års bevidst tempoafpasning kunne give tid til at styrke sikkerheden og udvikle bedre evalueringer.

Eksterne kontrollører og aftaler

Anthropic planlægger at placere uafhængige tredjepartsevaluatorer i virksomheden. De skal have adgang til værktøjer og processer, som en medarbejder ville have, og de skal kunne offentliggøre deres fund uden redaktionel kontrol fra Anthropic.

Amodei går desuden ind for aftaler mellem AI-virksomheder i demokratiske lande. Det gælder blandt andet forbud mod udvikling af biologiske våben og fælles teststandarder for cyber- og alignment-risici. Alignment handler om, at AI gør, hvad mennesker faktisk ønsker.

Opbakning og kritik

Ifølge The Decoder støtter Sam Altman, Elon Musk og Demis Hassabis i det mindste delvist forslaget. De er enige om behovet for uafhængigt tilsyn i AI-laboratorierne. Det fremgår ikke af kilderne, præcis hvor langt opbakningen rækker, eller om den følges op af lovgivning eller selvregulering. Musk har ifølge The Decoder i årevis advaret om AI-risici.

Google-forskeren Peyman Milanfar er uenig. Han mener, at antagelsen om rekursiv selvforbedring er naiv, fordi sådanne feedback-løkker i sagens natur er ustabile. Jo hårdere et system optimerer sig selv, jo dybere falder det ned i blinde vinkler, mener han. Pålidelig evidens kommer ifølge ham kun fra den virkelige verden, ikke fra benchmarks. Derfor anser han en »fartgrænse« for unødvendig.

Altman: Ingen børsnotering i 2026

Sam Altman har desuden sagt til Fortune, at OpenAI ikke børsnoteres i 2026. Ifølge The Next Web sagde han: »Given everything happening with safety, right now would be an ill-advised moment to go public.«

The Decoder skriver, at Altman allerede delte beslutningen internt i juni. Avisen peger også på, at OpenAIs økonomi måske ikke understøtter en børsnotering, især sammenlignet med Anthropics. Begge forklaringer kan ifølge The Decoder være rigtige.