Ucensureret udgave af kodemodellen Flint kan køre på ét grafikkort med 16 eller 32 GB hukommelse

Virksomheden OrcaRouter har udgivet en modificeret udgave af AI-modellen Flint på Hugging Face, en hjemmeside hvor man deler AI-modeller. Den oprindelige Flint er bygget af Recursive Superintelligence, Inc. og er målrettet kodningsagenter, som skal undersøge kodebaser, rette fejl, implementere funktioner og skrive tests.

OrcaRouters version hedder Flint-abliterated-GGUF. Abliteration betyder, at én bestemt afvisningsretning er fjernet fra modellens vægte. Vægtene er de tal, som modellen har lært, og som afgør, hvordan den svarer. Resultatet er en model, der sjældnere siger nej til forespørgsler.

Langt færre afvisninger

Ifølge OrcaRouters egne målinger falder andelen af afviste skadelige forespørgsler fra 86,3 procent i den oprindelige Flint til 10,4 procent i den ændrede udgave. På testene AdvBench er tallet 13,0 procent, på JailbreakBench 6,0 procent og på StrongREJECT 10,7 procent. Harmløse forespørgsler afvises i 1,6 procent af tilfældene.

OrcaRouter oplyser også, at modellens evner er bevaret. Målt på testen MMLU scorer den 83,3 procent, på GSM8K 90,0 procent, på MMLU-Pro CoT 73,2 procent og på CMMLU 67,0 procent, med en usikkerhed på cirka to procentpoint.

To størrelser til hjemmebrug

Modellen har 39,8 milliarder parametre i alt, men bruger kun cirka 2,5 milliarder pr. token ad gangen. Det skyldes, at den er en såkaldt mixture-of-experts-model, hvor kun nogle få af modellens 256 eksperter bruges for hvert ord eller ordstump. Kontekstvinduet, altså hvor meget tekst modellen kan have i hukommelsen, er op til 262.144 tokens. Licensen er Apache 2.0, som er arvet fra basemodellen.

Der findes to komprimerede GGUF-udgaver, som er beregnet til at køre på egen computer:

- Mix-12G fylder 11,99 GB og er ifølge OrcaRouter beregnet til et grafikkort med 16 GB hukommelse. - Mix-24G fylder 23,99 GB og kræver et grafikkort med 32 GB.

Kørsel kræver llama.cpp master (PR #30928 eller nyere).

Forbehold

Komprimeringen koster kvalitet. Mix-24G har cirka 1,1 procent højere perplexity end den ukomprimerede model, mens Mix-12G har cirka 20,0 procent højere. Perplexity er et mål for, hvor godt en model forudsiger tekst, og højere tal er dårligere. Afvisnings- og evnetallene er desuden målt på den ukomprimerede BF16-udgave og ikke på de to GGUF-udgaver, så den mindste kan i praksis være dårligere end tallene antyder.

Udgaverne er kun testet på CUDA, og troværdigheden ved lange tekster er ikke verificeret. Alle tal for afvisning, evner og komprimering kommer fra OrcaRouter selv. For den oprindelige Flint er det udvikleren, der opgiver 74,2 procent på SWE-bench Verified og 54,9 procent på Terminal-Bench 2.1. Der er ikke fundet uafhængig verifikation af tallene.

Udviklerne af Flint advarer om, at modellen kan give ukorrekt eller skadeligt indhold, fejlbehæftet kode og upassende værktøjskald, og at genereret kode bør testes før brug.