Claude meldte trussel til politiet: Kvinde fra Florida anholdt

En kvinde fra Bonita Springs i Florida er blevet anholdt, efter hun skrev voldelige trusler i en samtale med AI-assistenten Claude. Det er Anthropic, firmaet bag Claude, der gav politiet besked.

Hvad skete der?

Anholdelsen gælder den 30-årige Carli Michelle Heller. Ifølge amerikanske medier skrev hun den 26. september, at hun ville »skyde op« på Lee County Sheriff's Office, altså det lokale sherifkontor. Dagen efter skrev hun, at hun havde fået en ny pistol, og kaldte beskeden en »sidste chance«.

Claudes sikkerhedssystemer opfangede samtalen, og den blev sendt videre til manuel gennemgang hos medarbejdere i Anthropic. Herefter kontaktede firmaet politiet.

Sigtelse

Kvinden er sigtet for at have sendt en skriftlig trussel om at dræbe eller gøre skade på andre. Det er en forbrydelse af anden grad efter Floridas lovgivning, og den hører til de alvorlige sager. Sherif Carmine Marceno har ifølge lokale medier fortalt, at kvinden sagde, at hun bruger AI som en slags dagbog.

Hvad betyder det for dig?

Sagen er en påmindelse om, at en samtale med en chatbot ikke er en privat dagbog. AI-firmaer bruger automatiske filtre til at finde skadeligt indhold. Hvis noget ligner en alvorlig trussel, kan medarbejdere læse med og i yderste konsekvens kontakte myndighederne. Chatbotter er desuden ikke omfattet af tavshedspligt, som man kender det fra for eksempel læger og advokater.

Sagen minder om en tidligere hændelse i San Francisco, hvor Anthropic ifølge The Standard anmeldte en mand til politiet efter en besked om, at han ville skade medarbejdere. Manden sagde bagefter, at det var for sjov, og han er ikke anholdt.

Svær balance

Sager som denne rejser et spørgsmål: Hvornår skal et AI-firma gribe ind? Hvis firmaet ser en reel fare og tier, kan det få alvorlige følger. Men hvis det anmelder for let, kan folk blive anholdt for ting, der var udtryk for vrede eller dårlige vittigheder. Anthropic har ikke i de kilder, vi har set, uddybet sin vurdering af den konkrete sag.