Vi gætter næsten kun lidt bedre end en møntkast på AI-billeder

Kan du kende forskel på et rigtigt foto og et billede, en AI har lavet? Det er sværere, end mange tror. Det viser en undersøgelse fra Microsoft-forskere, der bygger på onlinespillet »Real or Not Quiz«.

I spillet skulle deltagerne afgøre, om et billede var rigtigt eller AI-genereret. Analysen omfatter omkring 287.000 vurderinger fra omkring 12.500 deltagere verden over, som gennemførte hele spillet.

Lidt bedre end tilfældighed

Samlet set ramte deltagerne rigtigt i 62 % af tilfældene. For de AI-genererede billeder alene var andelen 63 %. Det kalder forfatterne kun lidt bedre end at kaste en mønt.

Spillet brugte 350 rettighedsfri, rigtige billeder og omkring 700 AI-billeder. De kom blandt andet fra DALL-E 3, flere varianter af Stable Diffusion, Amazon Titan v1, Midjourney v6 og såkaldte GAN-modeller, der laver falske ansigter.

Deltagerne var bedst til billeder af mennesker, altså portrætter, og dårligst til natur- og bylandskaber.

Detektor klarede sig bedre, men er ikke efterprøvet

Forfatternes eget værktøj til at spotte AI-billeder ramte over 95 % rigtigt, både på ægte og AI-genererede billeder. Det er dog forfatternes egen test og er ikke efterprøvet af andre.

Forfatterne konkluderer, at resultaterne understreger behovet for gennemsigtighed, for eksempel vandmærker, og for solide detektionsværktøjer mod AI-baseret misinformation.

Forbehold

Forfatterne medgiver, at billedudvalget ikke repræsenterer alle AI-generatorer lige meget, og at billederne ikke er lige fotorealistiske på tværs af modeller. Derfor kan man ikke lave robuste sammenligninger af modellerne. Resultaterne kan desuden overvurdere menneskers evne, i takt med at AI udvikler sig. Tallene gælder spillets udvalg på omkring 1.050 billeder og frivillige deltagere og kan ikke uden videre overføres til alle.

Tip fra en uafhængig guide

Guiden fra Techloy peger på nogle tegn, man kan lede efter:

- Forvrængede detaljer som uregelmæssige teksturer, inkonsistent lys, asymmetriske ansigtstræk og unaturligt hår. - Gentagne mønstre i baggrund, tøj, skyer og vand. - Simple refleksioner, der ikke passer til lyskilden, og øjne uden dybde eller med unaturlig glans. - Onlineværktøjer som IsItAI og AIorNot samt omvendt billedsøgning, fx Googles. - Et tjek af kilden og af metadata som kamera, dato og sted.

Tipsene er generelle råd, og effekten er ikke målt. Guiden advarer selv om, at metoderne kan blive mindre pålidelige, efterhånden som AI-billeder bliver mere avancerede.