Forskere frygter at OpenAI nu lærer af deres sikkerhedsarbejde

Når sikkerhedsforskere tester angreb og forsvar sammen med en AI, kan samtalerne rumme følsomme oplysninger. Netop den slags data vil OpenAI nu begynde at lære af.

Fra 29. november vil selskabet bruge data fra såkaldte Daybreak Blue-sessioner til at træne sine modeller. Det skriver The Decoder, som henviser til en e-mail fra OpenAI til medlemmer af selskabets Trusted Access-program. Yoav Alon er nævnt som kilde til oplysningen.

Før var data undtaget

Daybreak Blue-data har indtil nu været holdt uden for træningen. Det gjaldt også for brugere, der havde slået indstillingen om at forbedre modellen for alle fra. Med andre ord: Selv dem, der allerede havde sagt nej til at bidrage, er ikke omfattet af den gamle undtagelse, når ændringen træder i kraft.

Efter hurtig kritik sendte OpenAI en ny e-mail. Her lovede selskabet en separat fravalgsmulighed, også kaldet opt-out. Det fremgår ikke af kilderne, hvordan den bliver udformet, hvornår den kommer, eller hvad den præcist dækker.

Interaktioner, der markeres under sikkerhedsgennemgange, kan desuden fortsat bruges til sikkerhedsformål. Hvad der konkret ligger i det, og hvilke data der er omfattet, er ikke specificeret.

Frygt for gentagelse

Ændringen vækker ifølge The Decoder bekymring hos forskere, fordi den kan minde om Buckmaster-Alpöge-sagen. Her uploadede matematikerne Tristan Buckmaster og Levent Alpöge udkast om Navier-Stokes-ligninger til OpenAIs Codex. Kort efter fremlagde OpenAI selv et bevis, men afviste at have brugt deres input til træning.

Ifølge The Decoder var mistanken alene nok til at vise forskere, hvad der kan gå galt, når et AI-selskab både modtager og kan træne på deres arbejde.

For almindelige brugere er pointen, at det kan ændre sig, hvad der sker med de data, man giver en AI-tjeneste, selv om man tidligere har fravalgt træning. Det kan derfor betale sig at holde øje med indstillingerne, når fravalgsmuligheden bliver tilgængelig.