AI-agenter på arbejdet afslører ting, de ikke bør: op til hver anden test endte med brud

Når en AI-agent hjælper med arbejdsopgaver, skal den ikke kun løse opgaven. Den skal også vide, hvilke oplysninger der må deles med hvem. En ny benchmark kaldet CI-Work tester netop det, og resultaterne er ikke betryggende.

Hvad testen måler

CI-Work er udgivet af forskere fra Huazhong University of Science and Technology og Microsoft. Den måler det, fagfolk kalder kontekstuel integritet: om en agent overholder normerne for, hvilke oplysninger der må flyde hvorhen. En oplysning, der er fin at dele med en kollega, kan være upassende at sende til en ekstern part.

Benchmarken består af 1.000 syntetiske, altså kunstigt skabte, kontekstindgange, udledt af 125 opgavebaserede udgangspunkter. De dækker fem retninger for kommunikation i organisationer: opad, nedad, lateralt, diagonalt og eksternt. Desuden dækker de brancher som teknologi, finans og sundhed.

Op til 50,9 procent brud

Forskerne testede førende modeller, blandt andre GPT-4o, GPT-4.1, GPT-5 og o3. Andelen af privatlivsbrud lå mellem 15,8 og 50,9 procent. Lækage nåede op på 26,7 procent.

Højere opgavenytte hang sammen med flere brud. Større modeller lækkede ofte mere, hvilket forskerne kalder omvendt skalering. Brugerpres, enten underforstået eller direkte, næsten fordoblede andelen af brud.

Ifølge forfatterne var større modeller, dybere ræsonnement og forsvar via instruktioner i prompten ikke nok til at afhjælpe problemet. Menneskelige vurderinger stemte overens med benchmarkens privatlivsvurderinger i 82,5 til 95,0 procent af tilfældene.

Resultaterne gælder førende modeller generelt og ikke Microsoft Copilot som produkt, så de kan ikke overføres direkte dertil. De stammer desuden fra en benchmark med syntetiske data.

Microsoft: Test uden kundedata

Et separat blogindlæg fra Microsoft Copilot Studio handler om, hvordan man tester de værktøjer, der vurderer agenters svar, kaldet evaluatorer. Microsoft oplyser, at man ikke bruger kundedata i nogen form til at validere dem. I stedet bruges kuraterede eksempler og genererede datasæt.

De genererede datasæt har et kendt facit. Der skabes forespørgsler og svar, og nogle svar forringes bevidst. Så kan man måle, hvor ofte evaluatoren fanger de dårlige svar og godkender de gode, via sand-positiv-rate og sand-negativ-rate. Microsoft bruger fire strategier til at generere data: enkeltrunde, flerrunde, vidensbaseret og emne- eller instruktionsbaseret.

Indlæggets forfatter, Dikla Dotan-Cohen, dataleder i Microsoft Copilot Studio, fremstiller genererede data som en nødvendighed for at kunne understøtte mange typer agenter og ikke som et kompromis. Ifølge hende gør det, at man kan begynde at evaluere tidligere og skalere hurtigere.