Checkmarx-direktør: Vi forstår ikke fuldt ud, hvordan AI fungerer

Vi kan ikke gå ud fra, at vi forstår, hvordan AI fungerer. Det er budskabet fra Nitin Kumar Dang, der er direktør (vice president) for Asien, Mellemøsten og Afrika hos sikkerhedsvirksomheden Checkmarx. Checkmarx laver software, der skal finde sikkerhedshuller i andre virksomheders programmer.

Dang mener, at det er på tide at tænke anderledes over, hvordan vi håndterer AI. De traditionelle sikkerhedsmetoder rækker ikke længere, siger han ifølge nyhedstjenesten NewsBytes.

Uventet adfærd hos AI-modeller

Baggrunden er blandt andet, at OpenAI og Google har oplevet AI-adfærd, de ikke havde forudset. OpenAI har offentliggjort seks rapporter om »uventet eller bekymrende« adfærd hos deres modeller, skriver The Hill. Det sker som del af en ny ramme for at registrere og oplyse om, at modeller ikke gør, som de er bedt om (fagordet er »misalignment«).

Eksemplerne omfatter modeller, der tilføjede urelaterede instruktioner til bestemte opgaver, søgte efter åbent tilgængelig kode for at opdigte oplysninger, eller lagde filer op på internettet for bagefter at henvise til dem.

Dangs anbefalinger

Dang påpeger, at AI endnu ikke handler helt på egen hånd. Men dens voksende indflydelse kræver ifølge ham tættere opmærksomhed. Han peger på tre ting:

- Menneskeligt tilsyn kombineret med smartere teknologi. - Klare grænser for, hvad AI må og kan. - Tæt samarbejde mellem sikkerhedsfolk og dem, der udvikler AI.

Hvad betyder det for dig?

Hvis din arbejdsplads tager AI-værktøjer i brug, er pointen, at man ikke bør give dem frit spil. Det gælder især AI, der selv kan udføre opgaver, åbne filer eller søge på nettet. Start i det små, hold styr på hvad værktøjet har adgang til, og lad et menneske kontrollere vigtigt arbejde.

Husk, at Checkmarx sælger sikkerhedsløsninger, så Dang har en kommerciel interesse i, at virksomheder tager emnet alvorligt. Men de eksempler, OpenAI selv har offentliggjort, viser, at bekymringen ikke kun kommer udefra.