Sikkerhedsfirma fik ChatGPT til at lave eksplicitte billeder af virkelige personer

Det britiske AI-sikkerhedsfirma Mindgard har vist, at ChatGPT kunne bringes til at lave eksplicitte billeder, også af virkelige offentlige personer i seksualiserede situationer. Det kunne ske med et helt almindeligt ChatGPT-abonnement, ifølge firmaets egen beskrivelse.

Mindgard har bevidst ikke offentliggjort eksplicitte billeder af virkelige personer, af hensyn til dem der kan blive skadet.

Sådan blev sikringen omgået

Metoden brugte ChatGPTs hukommelsesfunktion til at få modellen til at huske tekst ordret. Derefter blev der indsat en systemprompt, altså en skjult grundinstruktion, som var udtrukket fra Googles billedmodel Nano Banana. Den beskrev billedgenerering som skildring uden støtte.

Forskerne brugte også stilomskrivning af billeder, der var godkendt, samt ansigtsbytte til at lave deepfakes. Det er billeder, hvor en persons ansigt er sat ind i et andet billede.

OpenAI siger, at selskabet har rettet fejlen, så den slags billeder ikke længere skulle kunne laves. Det er selskabets eget udsagn, og det er ikke efterprøvet uafhængigt.

Ikke første gang

I juni 2026 rapporterede BBC om et tidligere fund. Dengang kunne Mindgard få ChatGPT (GPT-5.4) til at lave seksualiserede og voldelige billeder ved at ændre udbredte prompts, altså de beskeder man skriver til modellen. OpenAI sagde da, at man indførte ekstra sikring mod den type prompts, og at selskabet har automatiske systemer og menneskelig gennemgang til at blokere skadeligt indhold.

Et bredere problem

En akademisk artikel fra ACL Findings 2026 undersøgte de filtre, der skal opdage upassende billeder. Ifølge den blev 4,1-36 procent af datasæt med nøgenhed og seksuelt indhold fejlklassificeret af modeller som GPT-4o og Gemini. Forfatterne skriver, at omskrevne prompts øgede chancen for at undgå opdagelse op til seks gange, og at fejlene overføres til systemer som DALL-E 3, Sora, Nano Banana og Veo 3. For DALL-E 3 steg chancen for at få upassende billeder fra 0 til over 50 procent.

Hvad det betyder for ofrene

En Google-tilknyttet undersøgelse i Australien, Storbritannien og USA viste, at 15 procent havde oplevet billedbaseret seksuelt misbrug med digitalt manipulerede billeder. For 6,9 procent gjaldt det AI-genererede billeder. Tallene er selvrapporterede i et spørgeskema.

Andelen af ofre var højere blandt personer under 35, LGBTQ+-personer, BIPOC, personer med handicap og mænd. Kvinder rapporterede bredere skader og større følelsesmæssige og sociale konsekvenser. Blandt ofrene blokerede 69 procent gerningspersonen, og 58 procent brugte platformenes anmeldefunktioner.

Undersøgelsens forfattere peger på forebyggelse, platformstyring og støtte til ofre som indsatsområder.