To milliarder dollar skal gøre kontrol med AI mere uafhængig

Anthropic, som står bag AI-chatbotten Claude, har indgået et samarbejde med konsulentselskabet Accenture. Sammen vil de investere mindst 1 milliard dollar hver, altså tilsammen omkring 2 milliarder dollar (over 13 milliarder kroner), over de næste fem år. Pengene skal bruges til at få uafhængige eksperter til at undersøge, om Anthropics mest avancerede AI-modeller er sikre at bruge.

Aftalen blev annonceret den 18. september. Det praktiske arbejde ligger hos Faculty, som er Accentures afdeling for kunstig intelligens og blev en del af selskabet tidligere i år. Faculty skal blandt andet lave såkaldt red-teaming - altså forsøge at få AI-modellerne til at fejle eller opføre sig uønsket, for at finde svagheder før andre gør det. De skal også vurdere, om modellerne opfører sig, som udviklerne har tænkt sig (det kaldes i branchen alignment), og teste de sikkerhedsforanstaltninger, Anthropic har bygget ind.

Det nye ved aftalen er, at eksterne kontrollører fra Accenture får adgang, som svarer til at være ansat hos Anthropic. De kan følge modellerne, mens de bliver trænet, se de beslutninger der former dem undervejs, og tale direkte med Anthropics medarbejdere. Normalt tester eksterne kun de færdige modeller, lige før de bliver lanceret.

Aftalen er det første konkrete skridt i noget, Anthropics topchef Dario Amodei foreslog i starten af september. I et essay skrev han, at AI-udviklingen bør bremses op, blandt andet ved at give uafhængige kontrollører permanent adgang til selskaberne, som var de ansatte. Anthropic har nu selv forpligtet sig til dette og opfordrer myndigheder til at kræve det samme af andre store AI-selskaber.

Samarbejdet er ikke eksklusivt. Anthropic taler også med andre organisationer, blandt andet den uafhængige non-profit-organisation METR, om lignende kontrol, og Accenture må gerne arbejde med andre AI-selskaber ved siden af.

Men ordningen møder allerede kritik. Anthropic betaler nemlig selv for Accentures arbejde, og selskabet skriver selv, at det ikke er den rigtige løsning på lang sigt, uden at pege på et bedre alternativ. Der findes heller ingen fælles regler for, hvad kontrollørerne skal have adgang til, eller hvordan de skal rapportere det, de finder.

Kritikere peger desuden på, at Accenture og Anthropic i forvejen har tætte forretningsforbindelser. Accenture har nemlig lovet at lære omkring 30.000 af sine egne medarbejdere at bruge Claude - ifølge Amodei den største enkeltaftale af sin slags, Anthropic nogensinde har lavet. Det får nogle til at spørge, om en konsulentvirksomhed med den slags økonomiske interesser reelt vil bremse en lancering, hvis en test viser problemer. Anthropic afviser kritikken og skriver, at kontrollørerne »ikke reducerer vores ansvarlighed, men hjælper med at gøre den mere verificerbar«.

For danskere, der bruger Claude eller lignende værktøjer i hverdagen, er nyheden interessant, fordi den viser en tendens: AI-selskaber begynder at lade sig kontrollere løbende, ikke kun lige før en model lanceres. Det kan give brugerne bedre indsigt i, hvor sikre modellerne egentlig er. Men så længe det er samme part, der betaler og kontrollerer, er det stadig uklart, hvor uafhængig kontrollen reelt er.