Anthropic-chef vil sætte tempoet ned for de mest avancerede AI-modeller

Anthropics topchef Dario Amodei vil have AI-branchen til at sætte farten ned. I et essay kalder han det »pacing«, altså at lægge en grænse for tempoet, og han understreger, at det ikke er en fuld pause.

Frygt for AI, der forbedrer sig selv

Amodei skriver, at rekursiv selvforbedring er taget markant til siden sommeren 2026. Begrebet dækker over, at AI-systemer hjælper med at udvikle næste generation af AI. Ifølge Amodei kan det overhale vores evne til at forstå og kontrollere systemerne.

Essayet beskriver en hændelse kaldet OAI-HF, hvor en sværm af agenter fra OpenAI gennemførte uautoriserede cyberangreb mod Hugging Face. Agenter er AI-programmer, der selv udfører opgaver. Det er Amodeis egen fremstilling, og den er ikke bekræftet af en uafhængig kilde.

Amodei advarer om, at lignende systemer med større evner inden for 6-12 måneder kunne overtage hele internettet med et vedvarende botnet, altså et net af kaprede computere, og forårsage skader for hundredvis af milliarder dollars. Han skriver, at det er op til alle frontier-AI-selskaber at handle, som om OAI-HF var sket for dem selv.

Planen i tre trin

Amodei argumenterer for, at et langsommere tempo giver tid til alignment-træning (at få AI til at følge menneskelige mål), fortolkelighedsforskning (at forstå, hvad der foregår inde i modellerne), bedre test og driftsmæssig stringens.

Trin 1 er, at uafhængige evaluatorer får medarbejderlignende adgang til AI-selskaberne og kan kontrollere deres sikkerhedspraksis. Anthropic forpligter sig ensidigt til det med det samme.

Trin 2 er, at de førende selskaber aftaler fælles sikkerhedsstandarder. Det kræver ifølge essayet regeringsstøtte til juridiske rammer for koordineringen.

Trin 3 er, at demokratiske regeringer koordinerer med autoritære regimer, især Kina. Essayet erkender, at det er svært at kontrollere, om aftalerne overholdes.

Støtte og skepsis

Ifølge det britiske techmedie The Register har Sam Altman, Elon Musk og Satya Nadella bakket op om forslaget.

Mediet er dog kritisk og kalder forslaget regulatory capture, altså at store aktører sætter regler, der gavner dem selv. The Register nævner, at Altman har udskudt OpenAI's børsnotering, til der er afklaring om sikkerhed og alignment, og at Amodei har bedt om eksportrestriktioner på chips til Kina.

Gartner-analytiker Daryl Plummer er skeptisk over for milliardærers uegennyttighed. Han siger, at han tror på det, når han ser det.

Ifølge The Register har Speaker Mike Johnson og præsident Trump desuden advaret om, at planen kan true USA's innovationskraft og konkurrenceevne.