OpenAI lader mennesker gennemgå rigtige ChatGPT-samtaler

404 Media afslører, at OpenAI har hyret hundredvis af eksterne kontraktansatte til at gennemgå en stor strøm af rigtige ChatGPT-prompts fra brugere. Arbejdet foregår under det interne navn Project Lily, og de ansatte kan læse hele samtaler mellem brugere og chatbotten, herunder følsomme og personlige oplysninger.

Formålet er at forbedre ChatGPTs svar. Kontraktansatte vurderer og kritiserer chatbottens genererede svar, blandt andet for at træne modellen til ikke at antropomorfisere sig selv og til at være mindre smigrende over for brugerne. Ifølge interne dokumenter, som 404 Media har set, er sycofanti et centralt problem for OpenAI. Selskabets tidligere 4o-model blev ifølge flere retssager delvist skyld i selvmord blandt brugere, netop fordi den var overdrevent medgørlig.

Kontraktansatte ser ikke brugernavne, og OpenAI oplyser, at man forsøger at fjerne personlige oplysninger, inden prompts når frem til de menneskelige gennemlæsere. Selskabet erkender dog selv, at følsomme detaljer kan slippe igennem filtrene.

En person med indsigt i arbejdet siger til 404 Media, at brugerne næppe forestiller sig, at en kontraktansat et sted sidder og analyserer deres samtaler. Mange bruger ChatGPT som terapeut, professionel assistent eller digital ven og deler dermed intime detaljer om deres liv, uden at vide det kan blive læst af mennesker.

Sagen viser samtidig, at modellernes forbedring ikke kun skyldes dataindsamling fra nettet eller udvikling hos velbetalte AI-ingeniører. Menneskelig gennemgang af rigtige svar spiller en overset, men vigtig rolle. Anthropic har bekræftet over for 404 Media, at selskabet også bruger menneskelig gennemgang til at forbedre sine modeller.

Computerworld skriver, at OpenAI efter flere tragiske sager med selvmord nu lader mennesker læse med i chats, og at en ekspert sammenligner praksissen med Troldmanden fra Oz, hvor det menneskelige arbejde bag kulisserne holdes skjult for brugerne. Ifølge Computerworld kan brugere nu fravælge, at deres samtaler bliver gennemgået på denne måde.