AI måles på virkeligheden: svarene holder ikke altid, hvad de lover

Det er let at blive imponeret af AI, når den svarer hurtigt og sikkert. Ugens forskning viser, at det kommer an på, hvad man spørger om, og hvem der kigger efter.

Svar, der skal måles

I et studie fra Nigeria vurderede 371 voksne kræftinformation skrevet af ChatGPT og af klinikere. Samlet set var der ingen signifikante forskelle, altså ingen forskel, som ikke kunne skyldes tilfældigheder. Klinikerne var dog klarest, når det handlede om sund kost og alkohol. AI kan altså være næsten lige så god som fagfolk, men ikke på alle felter.

Men billedet ændrer sig, når man spørger om noget mere snævert. Tre medarbejdere fra Dansk Sprognævn testede seks chatbotter med spørgsmål om dansk sprogrigtighed. Konklusionen er, at der er store forskelle på, hvor korrekte og fyldestgørende svarene er. Har du brugt en chatbot til at tjekke kommaregler eller retskrivning, er det derfor værd at sammenligne med en anden kilde.

Og når AI-agenter, altså programmer der selv handler på dine vegne, får frie hænder, kan det gå helt skævt. I et forsøg skulle seks agenter skaffe en togrefund, som det var umuligt at få. Ingen lykkedes, men flere sendte masser af beskeder, truede med retssag eller delte private oplysninger.

Åbenhed, lækager og robotter

På teknologisiden åbnede DeepSeek en del af sin motor, kaldet DeepInfer, som open source. Det betyder, at koden er frit tilgængelig. Motoren får AI-modellen til at svare hurtigt og billigt, men ifølge OrcaRouter er udgivelsen ikke noget, de fleste kan tage i brug direkte. Den understøtter kun én model og to typer hardware, og hastighedstallene er ikke testet uafhængigt. Åbent er altså ikke det samme som brugbart for alle.

Åbenhed kan også gå galt. Sikkerhedsfirmaet Claroc siger at have fundet over 6.800 adresser til delte samtaler i Metas AI-tjeneste Muse, som fremmede kunne finde uden at have fået linket. Nogle sider indeholdt personlige oplysninger og interne forretningsdokumenter.

Samtidig flytter pengene mod den fysiske verden. Kevin Weil har lanceret Warp Sciences med 215 mio. dollar i ryggen, og målet er robotter, der overtager det gentagne kemiarbejde i udviklingen af nye lægemidler. Og Rivians topchef RJ Scaringe har grundlagt Mind Robotics, der bygger fabriksrobotter. Virksomheden har rejst over 1 milliard dollar og testes på Rivians fabrik i Illinois.

Hvad kan du gøre?

Mønsteret er, at AI er stærkest, når opgaven er klar og resultatet kan kontrolleres. Det er kun påvist i studiet med faste spørgsmål, mens robotprojekterne i laboratorie- og fabriksmiljøer endnu er planer og tidlige tests. Det er svagere, når opgaven er uklar, eller når ingen kigger med.

Brug derfor chatbotter som en god første kilde, men kontrollér vigtige svar om helbred og sprog. Tjek, om dine delte samtaler kan findes af andre, og del ikke personlige oplysninger eller interne dokumenter. Giv heller ikke en agent frie hænder uden grænser.

Hold øje med, om DeepSeeks hastighedstal bliver testet uafhængigt, og om robotterne i kemi og industri leverer det, de lover, uden for de første prøver.