Anthropic lader betalt evaluator følge udviklingen af AI-modeller indefra

Anthropic vil lade eksterne evaluatorer få indsigt i, hvordan selskabets AI-modeller bliver udviklet. Den 18. september 2026 blev et samarbejde med konsulenthuset Accenture annonceret. Det er Accentures AI-enhed, Faculty, der leder arbejdet.

Evaluatorer med adgang som ansatte

Ideen kaldes indlejret evaluering. Evaluatorerne får adgang, der kan sammenlignes med en ansats. De kan følge modeludviklingen og de beslutninger, der bliver truffet, og de kan tale direkte med medarbejdere.

Arbejdet omfatter blandt andet red-teaming, hvor man forsøger at få en model til at fejle eller opføre sig forkert. Det omfatter også vurdering af alignment, altså om modellen gør det, mennesker faktisk ønsker, samt test af modellernes sikkerhedsforanstaltninger.

Anthropic forventer at investere mindst 1 mia. dollar over fem år i samarbejdet, og Accenture forventer det samme. Anthropic henviser til topchef Dario Amodeis essay »Vi må sætte tempoet for frontlinjen« som baggrund for tilsagnet.

I meddelelsen skriver Anthropic: »Uafhængige indlejrede evaluatorer mindsker ikke vores ansvarlighed, men gør den mere verificerbar.«

Kritik: Hvor uafhængig er en evaluator, man selv betaler?

Det er netop uafhængigheden, der bliver diskuteret. Ifølge The Next Web betaler Anthropic selv Accenture for evalueringen, og selskabet erkender, at det ikke er den ideelle løsning.

Accenture er i forvejen kunde, forhandler og implementeringspartner for Anthropic og bliver nu også evaluator. The Next Web beskriver det som en interessekonflikt, som en pressemeddelelse ikke løser. Kritikken stammer fra mediet selv og ikke fra navngivne eksterne eksperter.

Derudover findes der endnu ingen standarder for, hvilken adgang evaluatorerne skal have, og hvad de skal rapportere. Der er heller ingen retningslinjer for, hvordan evaluatorer skal håndtere fund, der kan forsinke en lancering.

Flere aktører på vej

Aftalen er ikke eksklusiv. Anthropic vil ifølge selskabet arbejde med andre evaluatorer, som skal annonceres i de kommende uger, og Accenture vil arbejde med andre AI-udviklere. Anthropic fører også samtaler med den non-profit evaluator METR om at afprøve indlejret evaluering, hvor METR selv finansierer arbejdet.

Oplysningerne om aftalen kommer fra Anthropic selv og er ikke verificeret af en uafhængig part.