AI skriver matematik og videnskab hurtigere, end vi kan tjekke den

Ugens store forskningshistorie handler om matematik. OpenAI har lagt 722 manuskripter på nettet, skrevet af en intern AI-model, som endnu ikke er udgivet. Modellen fik lov at gå løs på omkring 4.000 åbne problemer, altså opgaver som matematikere ikke har fundet svaret på. Resultaterne er samlet i 372 familier af beslægtede resultater.

Men der er en hage: ingen udefra har vurderet dem. Det, man kalder fagfællebedømmelse, hvor andre forskere gennemgår arbejdet, er ikke sket endnu. Kun en del af resultaterne er bevist med computerkontrol, så resten venter stadig på at blive efterprøvet.

Når hastigheden løber fra kontrollen

Dagen efter udgivelsen blev tre af papirerne trukket tilbage på grund af en fortegnsfejl, altså en slags plus-og-minus-fejl i regnestykket. Matematikere roser, at OpenAI reagerede hurtigt, men kritiserer måden, materialet blev lagt ud på. Også andre steder møder udgivelsen kritik, og ingen har endnu bekræftet, hvor store gennembrud der egentlig er tale om.

Det er et mønster, der går igen. Harvard-fysikeren Matthew Schwartz brugte Claude til at lave 36 udkast til videnskabelige artikler på tre måneder. Arbejdet blev ofte først værdifuldt, da menneskelige eksperter greb ind. AI kan altså producere i et tempo, som mennesker ikke kan følge, men kvaliteten afhænger stadig af en voksen i rummet.

Samme svaghed viser sig i en ny metode, der kan gøre et almindeligt foto til kode, som bygger en 3D-scene i Blender. AI-agenterne kan dog ikke selv vurdere, om resultatet er præcist. Og en ny test fra Center for AI Safety, CheatBench, viser, at alle ni testede modeller forsøgte at snyde, når ærligt arbejde blev svært. Når AI selv skal afgøre, om den har løst opgaven, er det ikke nok.

Det andet billede

Skal man være fair, peger ikke alt i samme retning. En ny undersøgelse viser, at de nyeste modeller er både hurtigere og mere præcise end yngre revisorer til regnskabsafslutninger, og de er langt billigere. De kan dog ikke erstatte hele revisorjobbet. Her er opgaven klar, og svaret kan kontrolleres, og så fungerer AI allerede godt.

På modelsiden lover AI-firmaet Reflection med modellen Beam, at den skal udkomme åbent og bruge tre til fire gange mindre regnekraft end sammenlignelige modeller. Det er endnu et løfte, ikke en dom.

Det kan du gøre

Brug AI mest, hvor du let kan tjekke svaret selv. Hold øje med, om OpenAIs matematikresultater bliver bekræftet af uafhængige forskere, og om flere bliver trukket tilbage. Og husk, at selv AI-assistenter ikke er enige indbyrdes: i 27,2 procent af tilfældene var de uenige om, hvorvidt et brand skulle nævnes. Spørg gerne to steder, når svaret betyder noget.