Ny kodningsmodel skal køre hurtigt på din egen computer

Virksomheden Recursive har udgivet sin første AI-model, Flint. Den er lavet til at hjælpe med at skrive kode og kan køre lokalt, altså på brugerens egen computer i stedet for hos en udbyder på nettet. Det skriver TestingCatalog.

Modellen er rettet mod udviklere, der vil have kodningsagenter (AI, der selv udfører trin i en kodeopgave), som virker offline, holder data på enheden og undgår gebyrer for at bruge en API.

Stor model, lille regning

Flint er en såkaldt mixture-of-experts-model. Den har 40 mia. parametre i alt, men bruger kun 2,5 mia. af dem pr. token (en lille bid tekst). Det mindsker regnekraften, der skal bruges, når modellen svarer.

Ifølge Recursive topper Flint blandt MoE-modeller (mixture-of-experts) under 50 mia. parametre på de tre test SWE-Bench Pro v2, Terminal-Bench 2.1 og SWE-Bench Verified. Virksomheden oplyser også, at modellen yder på niveau med tætte (dense) kodningsmodeller på 25-40 mia. parametre, mens den kører mere end fem gange hurtigere.

Til modellen hører en inferensmotor ved navn rec, som er tunet til Flint på Apple-chips af typen M4 Pro og M5 Pro eller Max. Med den oplyses Flint at nå over 125 tokens i sekundet på en M4 Pro MacBook Pro og over 150 tokens i sekundet på en NVIDIA RTX Spark med 64 GB. Tallene gælder korte kontekster, og Recursive hævder op til dobbelt hastighed i forhold til sammenlignelige modeller.

Bygget med AI-hjælp

Modellen er ifølge TestingCatalog bygget fra bunden på under fire måneder af et lille hold af mennesker og agenter. De fik hjælp af Recursives automatiserede forskningssystem, Eureka Machine, som foreslog idéer, implementerede dem og testede resultaterne.

Åben og med forbehold

Vægtene, altså selve den trænede model, er udgivet under Apache 2.0-licens. De kan bruges i blandt andet llama.cpp, Ollama, Unsloth, LM Studio, vLLM og SGLang. Flint understøtter op til 512k tokens kontekst, men Recursive anbefaler at holde sig inden for 256k.

Recursive påpeger selv, at Flint kan kræve mere vejledning end større lukkede modeller. Virksomheden anbefaler at dele komplekse opgaver op i mindre delopgaver og give eksplicitte instruktioner.

Benchmarkresultater og hastighedstal stammer fra Recursive selv og er ikke uafhængigt verificeret. Det fremgår heller ikke, præcis hvilke modeller hastighedssammenligningerne bygger på.