Claude vurderer selv sine samtaler for misbrug - uden at brugerne får besked

Anthropic bruger en teknik kaldet self-assessment (selvvurdering) til at opdage misbrug af sin AI Claude. Efter hvert svar får Claude en kort ekstra instruktion om at give en kompakt sikkerhedsvurdering af hele samtalen, også af forespørgsler, Claude selv har afvist.

Vurderingen følger et fast format. Den angiver, om samtalen indeholder en mulig skadelig forespørgsel, hvilken type skade det handler om, en prioritetsscore til menneskelig gennemgang, om Claude afviste, og en forklaring på én sætning.

Gennemgang efter svaret

Flagene blokerer ikke samtaler i realtid. De bruges til gennemgang bagefter. Vurderingerne samles natligt pr. organisation, og organisationer med gentagne flag sendes automatisk videre til Anthropics håndhævelsesteam.

Ifølge Anthropic har teknikken kørt i produktion siden juni 2026 på en stor del af Claudes globale trafik og køres i alle modeller udgivet siden Fable 5. Brugere får ikke besked om, at det sker. Systemet kører på samtaler, der allerede opbevares under Anthropics eksisterende datapolitikker. Anthropic oplyser, at de strukturerede felter følger faste skemaer for at undgå, at brugertekst slipper ud, mens fritekstfelter beskyttes på samme måde som selve samtalerne.

Hvad virker, ifølge Anthropic

På Claude Fable 5 flagger metoden 78 procent af de samtaler, som en stærkere klassifikator (et program, der sorterer samtaler) vurderer som potentielt skadelige. For de højt prioriterede samtaler er tallet 94 procent, med 1 procent falske alarmer. Ydelsen stiger med modelstørrelse: på større modeller er den ca. 96 procent ved 1 procent falske alarmer, mod 16 procent på de mindste.

Metoden tilføjer ifølge Anthropic under 2 procent til regnekraften, fordi samtalen allerede ligger i cachen. Ifølge Let's Data Science kostede ældre Constitutional Classifiers 23,7 procent.

Anthropic oplyser, at systemet har afdækket misbrug i flere skadeskategorier, og at over halvdelen af de flagede organisationer ikke var opdaget af andre signaler før. Anthropics egen beskrivelse angiver, at systemet afslørede over 100.000 tilfælde af børnesikkerhedsovertrædelser fra én kunde, som blev indberettet til NCMEC, med henvisning til tidligere omtale (Let's Data Science, august). Tallet er ikke uafhængigt efterprøvet. Teknikken har også fundet nye skadetyper som prompt injection-forsøg (skjulte instruktioner, der forsøger at styre AI'en) og uautoriserede handlinger fra AI-agenter.

Begrænsninger

Anthropic erkender selv, at metoden ikke fanger alle skadelige samtaler og ikke er robust nok til at stoppe en målrettet angriber. Angrebssuccesen var 54 procent mod self-assessment mod 25 procent mod en selvstændig klassifikator. Metoden deler desuden blinde vinkler med den model, den er lært op af, og er dårligt egnet til at overvåge Claudes egen mulige fejljustering, fordi der er risiko for bedrag og inkonsistent vurdering.

Self-assessment er tænkt som ét lag i en forsvarsstrategi sammen med værn i realtid, ikke som erstatning. Tallene, undtagen dem der er tilskrevet Let's Data Science, er Anthropics egne og ikke uafhængigt efterprøvet.