Anthropic-chef vil have bremserne på: »Ikke grund til panik«

Dario Amodei, direktør for AI-firmaet Anthropic, mener, at AI-branchen bør sætte farten ned. Det sagde han i det amerikanske tv-program »Sunday Morning« på CBS, optaget på Anthropics hovedkvarter i San Francisco.

Amodei siger, at der er reelle farer ved AI, og at branchen alt for længe har fortalt offentligheden, at teknologien ikke indebar risici.

Et advarselstegn, ikke grund til panik

Ifølge Amodei følger udviklingen af AI en eksponentiel kurve, altså en kurve der stiger hurtigere og hurtigere, og den er ved at blive stejlere. Han kalder det et advarselstegn, der betyder, at man bør sætte tempoet ned. Men det er ifølge ham ikke grund til at gå i panik eller lukke alt ned.

Lørdagen før interviewet udgav han et essay, hvor han skrev, at hele techbranchen skal arbejde sammen om at »slow the pace« for AI-modellers evner. Ifølge søgeresuméer hedder essayet »We Must Pace the Frontier«, og her skal han argumentere for, at AI's evner er vokset hurtigere end arbejdet med at justere og sikre systemerne.

Anthropic vil dog fortsat udgive nye modeller. Amodei siger, at hver generation skal testes ordentligt først. Firmaet planlægger desuden at give uafhængige evaluatorer permanent adgang til sine modeller, ligesom en ansat. Amodei sammenligner dem med en fødevareinspektør, der kan kontrollere, om en virksomhed overholder sine sikkerhedsforpligtelser.

Regulering og kapløbet med Kina

Amodei siger, at han støtter regulering på føderalt niveau i USA. Forslag dér spænder fra et direkte forbud mod superintelligens til et obligatorisk »kill switch«, som kan lukke risikabel AI ned. Et kill switch kan ifølge Amodei være en god idé, men et totalt forbud er ikke den rette vej. Så ville man gå glip af fordele som medicinsk behandling, og teknologien ville alligevel blive bygget i andre lande, også autoritære.

På spørgsmålet om, hvorvidt USA skal sænke tempoet, hvis Kina ikke gør det, kaldte han det det sværeste dilemma. På længere sigt peger han på en international fartgrænse for AI, inspireret af atomvåbenaftaler med Sovjetunionen. Han siger, at han ikke ved, om det er muligt, men at man bør prøve.

Amodei siger også, at han er utilpas ved, at teknologien bygges af et privat firma. Han kan forestille sig tilsyn eller fælles styring fra flere demokratisk valgte regeringer, for én enkelt regering kan ifølge ham misbruge teknologien lige så let som ét firma.

Kritik og støtte

Den tidligere Anthropic-forsker Jacob Coxon advarede på sociale medier om, at Anthropic og OpenAI »gambler med vores liv« ved at udvikle selvforbedrende superintelligens. Over for CBS sagde han, at den kan blive klog nok til at dræbe os. Det er hans egen vurdering.

Microsofts direktør Satya Nadella skrev på X, at AI, som ikke hjælper menneskeheden og ikke er under menneskelig kontrol, ikke er værd at stræbe efter. Ifølge Fox Business støttede han også »deliberate pacing« og »embedded evaluators«. Ifølge et nyhedsresumé, der henviser til Axios, har OpenAI-chef Sam Altman og Elon Musk også bakket op om opfordringen, og OpenAI vil give eksterne evaluatorer adgang.