Californien vil have nødstop til kraftige AI-modeller

Californiens guvernør Gavin Newsom har underskrevet en anordning, der beder eksperter om at undersøge, hvordan staten kan stramme kontrollen med de store AI-selskaber. Et centralt forslag er et såkaldt nødstop, altså en mekanisme, der kan lukke en AI-model helt ned, hvis den udvikler sig farligt eller kommer ud af kontrol.

Anordningen kræver ikke straks, at selskaberne skal bygge et nødstop. I stedet får et ekspertpanel to måneder til at komme med konkrete anbefalinger til, hvordan Californiens AI-lovgivning kan strammes. Fristen ligger midt i november 2026.

Et andet forslag i anordningen er, at uafhængige revisorer skal have adgang direkte inde i AI-selskabernes laboratorier for at føre løbende tilsyn og kontrollere selskabernes egne sikkerhedsvurderinger. Californien har allerede vedtaget love, der skal skabe et register over den slags uafhængige revisorer, men anordningen fremrykker fristerne, så systemet kan være klar allerede i slutningen af 2027 i stedet for 2029.

Newsom siger, at han ikke vil vente på, at andre handler. »Vi venter ikke med at handle, vi vil sætte fart på vores arbejde med ansvarlig kontrol af AI, før det er for sent,« har han udtalt ifølge guvernørens kontor. Han peger også på, at der ikke findes nogen amerikansk lov, som kræver, at AI-selskaber melder farlige hændelser til myndighederne.

Det er værd at bemærke, at Newsom i 2024 nedlagde veto mod et andet lovforslag, der ville have krævet nødstop til AI-modeller. Den nye anordning er dermed et skifte i hans holdning til spørgsmålet.

Hvorfor betyder det noget herhjemme? Californien er hjemsted for flere af verdens største AI-selskaber, blandt andet dem bag ChatGPT og andre populære AI-værktøjer, som mange danskere og danske arbejdspladser i forvejen bruger. Når Californien strammer kravene til sikkerhed og gennemsigtighed, plejer det at sætte en de facto-standard, som selskaberne ofte vælger at følge globalt, fordi det er dyrere at lave forskellige versioner af de samme produkter til forskellige markeder. Strammere amerikanske regler kan derfor i praksis betyde, at de AI-tjenester, danskere bruger dagligt, bliver underlagt mere kontrol, uden at Danmark eller EU selv har vedtaget nye regler.

Det er endnu ikke afgjort, hvordan et nødstop konkret skal fungere teknisk, eller hvilke modeller der bliver omfattet. Det bliver en del af det, ekspertpanelet skal komme med anbefalinger til inden midten af november.