GitHub skifter AI-model ud for at finde glemte adgangskoder i kode

GitHub har taget en ny AI-model i brug i sin hemmelighedsscanning. Den skal opdage, når udviklere ved en fejl lægger adgangskoder og andre hemmelige nøgler ind i deres kode. Modellen hedder ModernBERT og er finjusteret til opgaven.

Hvis sådanne oplysninger havner i en kodesamling, kan andre i værste fald bruge dem til at komme ind i systemer, de ikke har adgang til.

Sådan fungerer det

Løsningen består af to trin. Først finder regulære udtryk, altså faste søgemønstre, tekststrenge der ligner legitimationsoplysninger. Derefter vurderer AI-klassifikatoren hver kandidat ud fra filens sti, variabelnavne og den omgivende kode eller tekst.

Formålet er at skelne rigtige adgangskoder fra pladsholdere som »changeme«, testværdier og redigerede værdier. Modellen er trænet på eksempler fra GitHubs produkter, på kandidater som mennesker har gennemgået, og på kunstige eksempler af svære tilfælde som dokumentation, testdata og checksummer.

Modellen dækker både push protection, som stopper en hemmelighed, før ændringen accepteres, og scanning efter push.

Billigere og hurtigere, siger GitHub

Ifølge GitHub har den nye løsning sænket omkostningerne ved at køre modellen med over 98 procent sammenlignet med den tidligere løsning baseret på en stor sprogmodel (LLM). Den mediane tid for scanning efter push er skåret med 86 procent.

I GitHubs egen offline-test var præcisionen 13 procent højere og recall 19 procent højere. Præcision handler om, hvor mange alarmer der er rigtige, og recall om, hvor mange rigtige hemmeligheder der bliver fundet. I en A/B-test steg den vægtede accept-rate for alarmer med 11,5 procent ifølge Help Net Security. Alle tal stammer fra GitHub selv og er ikke uafhængigt efterprøvet. Det er også uklart, hvilken LLM der er sammenlignet med.

Hvem får det?

Eksisterende kunder får de AI-detekterede adgangskodealarmer opgraderet automatisk uden ekstra betaling, ifølge eSecurity Planet. Det kræver GitHub Team eller Enterprise Cloud med betalt sikkerhedsdækning. AI-baseret push protection er kun i privat preview, og Copilot-sikkerhedsreview kommer i privat preview. De nye funktioner vil bruge AI Credits, og afregningsdetaljer er ikke offentliggjort. GitHub Enterprise Server 3.23 får alarmerne i public preview, men ikke de nye funktioner.

GitHub oplyser selv, at falske alarmer og oversete legitimationsoplysninger stadig kan forekomme. Selskabet planlægger at bruge feedback fra brugerne til at forbedre modellen og at undersøge løsninger, der finder og udtrækker hemmeligheder i ét trin.