Chatbots svarer bedre på spørgsmål om mandlig infertilitet, men ikke alle

Hvor gode er gratis AI-chatbots til at svare på spørgsmål om mandlig infertilitet, og bliver de bedre med tiden? Det har fire tyrkiske forskere undersøgt i en ny fagfællebedømt studie i tidsskriftet Basic and Clinical Andrology.

Forskerne stillede de samme 88 engelsksprogede spørgsmål i maj 2025 og i maj 2026. Spørgsmålene var afledt af anbefalinger i de europæiske urologers retningslinjer for mandlig infertilitet (EAU). I alt blev 528 svar vurderet fra ChatGPT, Perplexity og DeepSeek, alle i gratis webversioner.

Sådan blev svarene målt

To urologer med erfaring i området vurderede svarene uden at vide, hvilken chatbot der havde skrevet dem. Svarene fik point for kvalitet og en ekspertscore fra 1 til 5. Desuden blev læsbarheden målt med Gunning Fog-indekset, hvor et lavere tal betyder, at teksten er lettere at læse.

Hvem blev bedre?

I 2025 klarede Perplexity sig bedst med en ekspertscore på 4,5, efterfulgt af ChatGPT med 4 og DeepSeek med 3.

I 2026 var billedet vendt. ChatGPT forbedrede sig på alle fire mål og fik ekspertscore 5. DeepSeek havde den største fremgang og gik fra 3 til 5 i ekspertscore. Perplexity gik derimod tilbage fra 4,5 til 4 i både ekspertscore og generel kvalitet. Forfatterne beskriver, at Perplexity i 2026 gav bredere og til tider mere generiske svar, selvom den stadig henviste til kilder.

Perplexitys tekster var i begge år de sværeste at læse. Alle tre chatbots lå dog på et niveau, der må forventes at være krævende for de fleste læsere.

Sikkerhed

I 2025 fandt eksperterne mulige patientsikkerhedsproblemer i 7 af 88 svar fra DeepSeek, altså omkring 8 procent. Et eksempel var uklar prioritering af metoder til at måle testikelvolumen. Sådanne problemer blev ikke fundet i 2026. Ingen af de 528 svar indeholdt en anbefaling, som blev vurderet tilbøjelig til at give umiddelbar eller alvorlig skade.

Forbehold

Forfatterne selv stod for spørgsmål, scoring og ekspertvurdering, og studiet er ikke gentaget af andre. Der er kun set på ét svar pr. spørgsmål, så man ved ikke, hvor stabile svarene er. Spørgsmålene lå tæt op ad retningslinjernes ordlyd og var kun på engelsk, så resultaterne siger mindre om almindelige, vage spørgsmål fra almindelige brugere. Udbyderne kan desuden have ændret modellerne undervejs. Tabellen og teksten i artiklen er desuden uenige om, hvorvidt DeepSeeks generelle kvalitetsscore ændrede sig.

Forfatterne konkluderer, at udviklingen var forskellig fra model til model, og at velformulerede svar og kildehenvisninger ikke i sig selv gør et svar klinisk sikkert. Verifikation mod autoritative kilder og menneskelig kontrol er fortsat nødvendig.