ChatGPT næsten på niveau med klinikere i nigeriansk kræftstudie

Kan en AI som ChatGPT skrive brugbar information om, hvordan man forebygger kræft? Det har forskere undersøgt i Nigeria. Resultatet er offentliggjort i Journal of Clinical and Translational Science.

Forfatterne beskriver det som det første studie, der vurderer AI-genererede patientinformationer om kræftforebyggelse i Nigeria og i Afrika. Studier af AI og kræftinformation fra lav- og mellemindkomstlande er sparsomme.

Sådan blev det undersøgt

Forskerne sammenlignede materialer om kræftforebyggelse lavet med ChatGPT (modellen GPT-4o) med materialer lavet af klinikere i Nigeria. 409 voksne blev rekrutteret under en World Cancer Day-gåtur i Abuja den 1. februar 2025. 371 af dem gennemførte spørgeskemaet og indgår i analysen.

Deltagerne vurderede materialerne på tre punkter: nytte, forståelighed og klarhed.

Samlet set på niveau

Samlet set var ChatGPT-materialerne på niveau med klinikernes, og der var ingen signifikante samlede forskelle. Der var dog undtagelser: Klinikernes udsagn om »sund kost« og »begræns alkohol« blev vurderet som mere klare end AI's tilsvarende udsagn.

Begge typer materialer lå omkring 8. klasses læseniveau. Det er over det anbefalede 6. klasses niveau, så teksterne er sværere at læse, end de bør være. ChatGPT-teksten var desuden 64 procent længere, 253 ord mod 154.

Tillid til AI

Kun 14 procent af deltagerne brugte AI til sundhedsinformation, men 58 procent oplyste, at de stolede på det. Ifølge hovedforfatter Runcie Chidebes indlæg på OncoDaily bruger deltagerne oftest læger (73 procent) og Google (52 procent). 90 procent var interesserede i apps om kræftforebyggelse.

Vigtige forbehold

Deltagerne var højtuddannede og overvejende byboere: 90 procent havde mindst en bachelorgrad, og kun 20 procent boede i landlige områder. Ifølge forfatterne overvurderer det sandsynligvis, hvor klar teksten opleves i forhold til befolkningen generelt. Studiet målte kun umiddelbare indtryk, ikke om folk huskede rådene eller ændrede adfærd, og ikke om indholdet var faktuelt korrekt.

Forfatterne konkluderer, at GPT-4o kan lave patientinformation, der kan sammenlignes med klinikernes. Alt AI-output kræver dog klinisk gennemgang samt tilpasning til kultur og sundhedssystem, før det tages i brug. Ifølge Chidebe er der også brug for kulturelt relevant, evidensbaseret afrikansk information i AI-systemer for at forebygge misinformation.