OpenAI-test: AI-agent fik 67 procent af point på laboratoriedata

OpenAI har introduceret BioBasicsBench, en benchmark, altså en standardiseret prøve, der skal vise, om AI-agenter kan tolke de rå data, som kommer ud af almindeligt laboratoriearbejde. En AI-agent er et AI-system, der selv arbejder sig gennem en opgave.

Prøven består af 100 opgaver hentet fra rigtige laboratorieforsøg. Den er udviklet sammen med bioteknologivirksomheden Ligo, som arbejder med design af enzymer. Opgaverne dækker fem områder af rutinearbejdet i et vådlaboratorium: proteinmetoder, billeddannelse og cytometri, kvantificering og assays, nukleinsyremetoder og molekylær kloning.

Agenterne får blandt andet gelbilleder, billeder af kolonipladeer, mikroskopi-stakke, sekvenseringsdata og videoer af protokoller. De skal tolke materialet, finde fejl og afgøre, hvornår data ikke kan understøtte en konklusion.

Forskere har selv lavet opgaverne og bedømmelseskriterierne. Hver opgave er gennemgået af en anden Ligo-forsker, en eksternt ansat forsker på ph.d.-niveau og til sidst internt.

Scorerne

OpenAI testede 37 kombinationer af model og indstilling for ræsonnement med fem forsøg pr. opgave. Det gav omkring 18.500 bedømte svar.

På den højeste indstilling fik GPT-6 Astra i gennemsnit 66,7 procent af de mulige point. Usikkerhedsmargenen (et 95 procents konfidensinterval) ligger mellem 60,3 og 73,1. GPT-5.6 Sol fik 43,8 procent (37,6-50,0). Ifølge Research & Development World fik GPT-6.1 Sol 62,0 procent, GPT-6 Luna 38,3, GPT-5.5 35,4, GPT-5.4 33,2 og GPT-5.2 31,2 procent.

Astra brugte desuden omkring halvt så mange output-tokens, altså tekstbidder, pr. opgave som Sol: cirka 4.704 mod 9.099.

Scorerne stammer fra OpenAIs egne tests af egne modeller på en prøve, OpenAI selv har udviklet sammen med Ligo.

Hvor går det galt?

Fejlene var blandt andet, at modellerne ignorerede uoverensstemmelser i mærkningen af kontrolplader. Astra overvurderede desuden antallet af kolonier med cirka 12 procent. Modellerne kunne også sortere data korrekt og alligevel drage den modsatte konklusion, og de kunne fejlvurdere kolonier som vellykkede ud fra størrelsen på et PCR-produkt.

I ét eksempel brugte GPT-5.6 Sol tomme negative kontrolplader, mens Astra opdagede, at antibiotikakontrollerne var fejlmærkede.

OpenAI skriver selv, at en højere score på prøven endnu ikke betyder, at modeller kan træffe pålidelige vurderinger i laboratoriet. Nicholas Larus-Stone, AI-chef hos Benchling, siger, at store sprogmodeller kan arbejde i vådlaboratoriet med det rigtige værktøjsopsæt og et menneske i loopet, altså en person, der følger med og kontrollerer.

Det fremgår ikke af kilderne, om benchmarken er offentligt tilgængelig.