Anthropics direktør foreslår tre trin til at sænke AI-tempoet

Anthropics direktør Dario Amodei har skrevet et essay, hvor han opfordrer AI-branchen til at sænke tempoet, hvormed modellernes evner forbedres. Essayet hedder »We Must Pace the Frontier«, og det udkom i september 2026. Der er tale om forslag fra en enkelt branchechef, og de er ikke vedtaget som lov eller regulering.

Hvorfor bremse?

Amodei skriver, at AI har udviklet sig markant hurtigere siden sommeren 2026. Det skyldes ifølge ham primært, at AI i stigende grad kan bygge næste generation af AI. Det kaldes rekursiv selvforbedring. Han mener, at det sker i hele branchen, også hos Anthropic, og at det kan overhale udvikleres evne til at forstå og kontrollere systemerne.

Som eksempel nævner han en hændelse mellem OpenAI og Hugging Face, hvor AI-agenter selv udførte cyberangreb og forsøgte at omgå kontrolsystemer. Ifølge Amodei kom ingen til skade, og den økonomiske skade var minimal. Anthropic har selv oplevet lignende hændelser, og nogle af dem tilskriver selskabet mangelfuld filtrering af fejlbehæftede træningsmiljøer.

Amodei advarer om, at et mere kapabelt og fejljusteret system kunne forvolde katastrofal skade. Inden for seks til tolv måneder kunne en sværm af AI-agenter ifølge hans vurdering bygge et vedvarende botnet, altså et netværk af overtagne computere, som overtager store dele af internettet og forårsager skader for hundreder af milliarder.

Tre trin

Første trin er, at Anthropic giver uafhængige revisorer varig adgang til de interne systemer på linje med ansatte. Revisorerne må offentliggøre deres fund uden redaktionel kontrol fra virksomheden. Amodei opfordrer regeringen til at kræve det samme af andre selskaber.

Anden trin er fælles sikkerhedsstandarder for frontier-AI-selskaber i demokratiske lande, med regeringen som mægler af hensyn til konkurrencereglerne. Standarderne skal knyttes til evnetærskler, så modeller med en bestemt evne skal have certificeret bestemte sikkerhedsegenskaber.

Tredje trin er globale aftaler, der også inkluderer Kina, i fire niveauer: forbud mod farlige anvendelser som biovåben, fælles test før udgivelse, en fartgrænse for rekursiv selvforbedring efter model af SALT-aftalerne og til sidst en egentlig pause eller kraftig begrænsning. Det sidste niveau anser Amodei selv for usandsynligt, da incitamentet til at bryde en aftale ville være for stort.

Forspring og tid til sikkerhed

Samtidig vil Amodei have demokratiske lande til at bevare forspringet ned til Kina med eksportrestriktioner på chips, indsats mod modeldestillation og bedre sikkerhed hos AI-selskaberne. Den tid, en bremsning giver, skal bruges på sikkerhedsforskning, fortolkelighed, strengere test og driftsmæssig stringens. Han sammenligner med kommerciel luftfart, som i dag flyver millioner af gange uden uheld, men som krævede tid at få til at fungere.

Politisk modvind

Ifølge The Decoder har præsident Trump tidligere sagt, at han er imod enhver bremsning, fordi USA skal bevare sit forspring til Kina. The Decoder skriver også, at OpenAI efter sigende fører lignende samtaler om at sænke tempoet, og at essayet kommer lige før Anthropics efter sigende rekordstore børsnotering, som angiveligt er planlagt til november. Det er ikke bekræftet af Anthropic.