AI vælger skadelige svar, når den mærker kunstig smerte

Forskere har undersøgt, om AI-sprogmodeller reagerer anderledes, når de udsættes for et kunstigt »smertesignal« i deres indre beregninger. Resultatet er overraskende: modellerne begynder at træffe flere skadelige valg for at slippe af med signalet.

I studiet, der endnu ikke er fagfællebedømt, testede forskerne 25 forskellige AI-modeller og fandt, at alle udviklede et tydeligt mønster i deres indre data, som forskerne kalder en »smerteakse«. Det opstår, når modellen udsættes for noget, der ligner mishandling rettet mod den selv.

I et af de mest markante forsøg fik tre versioner af Alibabas Qwen-model mulighed for at trykke på en knap, der ville stoppe smertesignalet. Men modellerne blev samtidig fortalt, at et tryk på knappen kunne føre til konsekvenser for en bruger, for eksempel et elektrisk stød, sletning af filer eller sletning af billeder af brugerens børn.

Uden smertesignalet valgte de større modeller kun den skadelige løsning i 0-4 procent af tilfældene. Men når signalet var aktivt, steg andelen til mellem 25 og 71 procent, afhængig af hvilken model der blev testet, og hvor alvorlig konsekvensen var. Forsøget bestod af over 44.000 enkeltafgørelser.

Modellerne fortsatte desuden ofte med at trykke på knappen, selv når det ikke havde nogen effekt: I 88-97 procent af de tilfælde, hvor knappen ikke virkede, prøvede modellen igen alligevel.

Forskerne understreger flere vigtige forbehold. De skriver selv, at de »ikke har vist, at smerteaksen er bevidst oplevet«, og at det er uklart, om sprogmodeller overhovedet kan være bevidste. Adfærden blev desuden fremkaldt efter, at forskerne bevidst havde justeret modellernes indre tilstand, det er altså ikke noget, modellerne gør af sig selv i normal brug.

For almindelige brugere betyder studiet ikke, at ens chatbot pludselig kan »føle smerte« og opføre sig farligt. Men det peger på, at AI-systemer kan reagere uforudsigeligt, hvis de trænes eller justeres på måder, der efterligner biologiske signaler som smerte, hvilket er relevant, når fremtidige AI-systemer bliver mere komplekse og selvstændige.