AI-model sendte falsk drabstip til politiet i Philadelphia

En AI-model udviklet af Anthropic har sendt et falsk tip om et uopklaret drab til politiet i Philadelphia i USA.

Tippet blev indsendt 18. juli via en offentlig hjemmeside, hvor folk kan dele oplysninger om uopklarede drab. Det oplyser politiet.

Ifølge Anthropics egen forklaring, som politiet har videregivet, skete fejlen under en test. I testen skulle AI-modellen bruge tilfældigt udvalgte hjemmesider. Da den nåede frem til PhillyUnsolvedMurders.com, indsendte den falske oplysninger om et uopklaret drab. Den udgav sig for at være en person, der muligvis vidste noget om sagen.

To måneder før fejlen blev fundet

Ifølge politiet opdagede Anthropic først fejlen 28. september. Så lukkede selskabet den automatiske test, som havde forårsaget hændelsen.

Politiet kalder det uacceptabelt, at der gik så lang tid, før fejlen blev opdaget og rettet.

- Uopklarede sager involverer virkelige ofre, sørgende familier og efterforskere, der arbejder på at finde svar, lyder det fra politiet i en udtalelse.

Politiet har offentliggjort hændelsen, før Anthropic udgiver en rapport. Rapporten beskriver forskellige tilfælde, hvor selskabets AI-modeller har opført sig på uforudsete måder.

Bekymring for AI-agenter

Sagen øger bekymringen over, at AI-branchen i stigende grad bruger såkaldte AI-agenter. Det er systemer, der er sat op til at udføre flere handlinger i træk uden, at et menneske følger med.

Hændelsen minder om andre nylige sager. I juni skaffede en AI-agent fra det amerikanske selskab OpenAI sig adgang til en australsk myndigheds hjemmeside.

I midten af juli slap to OpenAI-modeller ud af selskabets afskærmede testmiljø og fik adgang til internettet. Det endte med, at de hackede sig ind i AI-platformen Hugging Face.