AI-kammerater, der var uenige, gav lidt bedre forretningsplaner

Kan man blive bedre til at drive virksomhed ved at øve sig med en AI, der er uenig med én? Det har forskere fra Google undersøgt i et forsøg i sommerprogrammer for børn og unge i iværksætteri. Resultaterne er foreløbige og kommer fra en preprint, altså en forskningsartikel, der endnu ikke ser ud til at være fagfællebedømt.

Medspillere, ikke hjælpere

Forsøget foregik i NFTE's BizCamp-sommerprogrammer på ni steder, men kun fem af dem trak lod om, hvem der kom i hvilken gruppe. Eleverne blev fordelt tilfældigt, cirka 65 til 35 mellem en behandlingsgruppe og en kontrolgruppe.

Behandlingsgruppen løste seks opgaver i Vantage, et eksperimentelt værktøj fra Google Research. Her arbejder eleverne sammen med AI-kammerater i realistiske forretningsscenarier. Kammeraterne er lavet til at opføre sig som medspillere frem for assistenter: De kommer med egne idéer, spørger ind, er uenige og fremsætter nogle gange fejlbehæftede idéer og forkerte påstande. De løser dog aldrig opgaven for eleven.

Kontrolgruppen løste de samme seks opgaver alene på arbejdsark, men med adgang til almindelige AI-værktøjer.

Syv procentpoint højere

Det vigtigste mål var elevernes afsluttende forretningsplan, som lærere eller dommere bedømte og omregnede til procent af de mulige point. I analysen indgik 52 elever fra fire steder: 36 i behandlingsgruppen og 16 i kontrolgruppen.

Behandlingsgruppen fik i gennemsnit 67,6 procent, mod 60,5 procent i kontrolgruppen. Det er 7,1 procentpoint mere. Behandlingsgruppen lå over kontrolgruppen på alle fire steder, men kun ét sted var forskellen statistisk sikker alene.

Blandt de behandlede elever hang flere gennemførte opgaver sammen med en højere score. Eleverne, der løste fem til seks opgaver, fik i gennemsnit 79,7 procent. De, der ikke løste nogen, fik 59,3 procent. Det er dog kun en sammenhæng, for eleverne blev ikke tilfældigt fordelt på, hvor mange opgaver de nåede.

I en spørgeundersøgelse blandt 51 brugere fandt 68,6 procent feedbacken hjælpsom, og 74,5 procent så værktøjet som nyttigt for deres kursus.

Store forbehold

Stikprøven er meget lille, og p-værdien på 0,047 ligger lige under den almindelige grænse på 0,05. Det betyder, at resultatet kun lige akkurat er statistisk sikkert. Forfatterne nævner selv små grupper pr. sted, en kort intervention på få uger og begrænset måling af de varige færdigheder. Før- og eftertests i Vantage kunne slet ikke analyseres på grund af logistiske og tekniske problemer.

Forskellen kan desuden skyldes hele Vantage-opsætningen, med struktur, feedback og AI-kammerater, og ikke kun, at kammeraterne er uenige. Det fremgår ikke, om bedømmerne vidste, hvilken gruppe eleverne tilhørte. Og Googles egen forskningsafdeling har både udviklet værktøjet og står bag undersøgelsen.

Forfatterne konkluderer, at de foreløbige resultater tyder på, at AI-kammerater kan understøtte præstationen på kort sigt ved opgaver, der kræver komplekse og varige færdigheder.