Californien vil have nødstop og uafhængige kontrollører i AI-selskaber

Californiens guvernør, Gavin Newsom, underskrev den 18. september 2026 en bekendtgørelse om AI. Den skal fremskynde uafhængigt tilsyn med AI-selskaber og fremme oprettelsen af et nødstop til AI-modeller. Et nødstop er en måde at stoppe et AI-system på, hvis det kommer ud af kontrol.

Bekendtgørelsen nævner et nyligt angreb mod AI-platformen Hugging Face som en af baggrundene for tiltaget.

Hvad skal der ske?

Nødstoppet skal gælde de mest avancerede AI-modeller, også kaldet frontier-modeller. Uafhængige verifikationsorganisationer skal løbende kontrollere, at det virker. Det er endnu ikke afklaret, hvordan et nødstop skal fungere teknisk, eller præcis hvilke modeller det omfatter.

Avancerede AI-selskaber skal ifølge planerne have uafhængige verifikationsorganisationer siddende på stedet til regelmæssige audits, altså eksterne gennemgange. Organisationerne skal også kontrollere selskabernes sikkerhedsrammer, gennemsigtighedsrapporter og risikovurderinger.

Definitionen af kritiske sikkerhedshændelser skal opdateres, så den også omfatter tab af kontrol over AI-systemer.

Et panel af eksperter skal inden for to måneder komme med anbefalinger til at styrke Californiens love om AI-sikkerhed. Regnet fra den 18. september er det omkring midten af november.

To eksisterende love skal i gang hurtigere

Bekendtgørelsen pålægger Government Operations Agency at fremskynde gennemførelsen af to love, SB 813 og AB 1405. SB 813 har skabt en ramme for at certificere uafhængige verifikationsorganisationer, som vurderer AI-systemers sikkerhed og risiko. AB 1405 har oprettet et statsligt register over AI-revisorer med standarder for uafhængighed, gennemsigtighed og integritet.

Kritik af den føderale regering

Newsom siger, at Californien ikke vil vente med at handle, men i stedet fremskynde arbejdet med kontrol med AI. Ifølge ham har den føderale regering intet gjort for at indføre pligt til at indberette AI-hændelser. Nyhedsmediet The Decoder skriver, at ingen føderal lov kræver, at AI-selskaber melder farlige hændelser.

Ifølge The Decoder kritiserede Newsom også Trump, som havde beskyldt AI-laboratorierne for at skabe frygt. Newsom opfordrede ifølge samme kilde Kongressen til at gøre Californiens regelsæt til en national basis.

The Decoder skriver desuden, at forslaget om uafhængige revisorer inde i laboratorierne stammer fra AI-laboratorierne selv, som del af et bredere opråb om at bremse forskning og udvikling.