Microsoft-chef: Behandl avanceret AI som en risikabel medarbejder

Microsofts topchef, Satya Nadella, har skrevet et langt opslag på X med titlen »Models as Insider Risks in the Super Intelligence Era«. Her tager han fat i faren ved meget avancerede AI-modeller og i, hvordan man kan begrænse den. Beskrivelsen her bygger på mediers gengivelse af opslaget.

AI som en kraftfuld medarbejder

Nadellas grundtanke er, at de mest avancerede AI-modeller, også kaldet frontier-modeller, bør behandles som kraftfulde interne medarbejdere. Det betyder begrænsede rettigheder, løbende logning af, hvad modellen foretager sig, og mulighed for at lukke den ned øjeblikkeligt.

Ifølge søgeresultater, der gengiver opslaget, skriver han: »Vi må antage, at en model er kompromitteret, og indeslutte den fra start. Det er som en nødbremse.« Det er et designudgangspunkt og ikke en påstand om, at bestemte modeller faktisk er kompromitterede.

Kontrollen skal ligge uden for modellen

Nadellas centrale princip er, at kontrollen med modellens adgang og handlinger skal ligge uden for selve modellen. Han knytter det til informationssikkerhedstænkning fra 1970'erne: Et program må ikke kunne omgå eller pille ved de mekanismer, der håndhæver dets rettigheder.

Han formulerer det også sådan: »Det mest troværdige superintelligenssystem er ikke det med den model, vi stoler mest på, men det system, der gør det muligt at stole mindst muligt på modellen.«

Syv principper

Nadella opstiller syv principper: modeldiversitet, så man ikke afhænger af én enkelt model, observation af alt, verificerbarhed, uafhængige kontroller, uafhængig revision, indeslutning og rettidig underretning om hændelser med implementeringsdetaljer.

Han vil også have al meningsfuld modelhandling dokumenteret som manipulationssikre beviser, som mennesker kan læse. En bemyndiget person skal altid kunne sætte en model på pause eller lukke den ned midt i en opgave.

Advarsel mod modeller, der overvåger hinanden

Nadella advarer mod at lade modeller teste hinanden. Det kan ende med en uigennemsigtig model inde i et uigennemsigtigt lag, der styrer samarbejdet, og som overvåges af endnu en uigennemsigtig model. Han afviser også en tilgang, hvor AI er indlejrede sorte bokse, hvis svar og handlinger man blot accepterer eller afviser.

Ifølge nyhedssiden OfficeChai er opslaget skrevet på baggrund af øgede sikkerhedsbekymringer, blandt andet brud begået af OpenAI-modeller og uløste udfordringer med alignment, altså at få AI til at handle i tråd med menneskers hensigter. Den oplysning kommer alene fra OfficeChai.