Aleph Alpha udgiver åbne Kolibri med 1 million tokens kontekst

Aleph Alpha har udgivet Kolibri, en model med åbne vægte, som kan hentes i fuld version på Hugging Face under Apache 2.0-licensen. Modellen er tosproglig (engelsk og tysk) og rettet mod offentlig sektor og regulerede industrier, hvor data ikke gerne må forlade huset.

Kolibri er en Mixture-of-Experts-model med 78,1 milliarder parametre i alt, hvoraf 3,46 milliarder er aktive for hvert token. Den understøtter kontekst på op til en million tokens, og den kan kalde værktøjer. Virksomheder kan køre den on-premises i stedet for at sende interne data til en tredjeparts inferenstjeneste.

Sådan er modellen bygget

Kolibri bygger på den tidligere Kolibri Origin og på Aleph Alphas automatiserede Model Factory. Den er trænet på 768 B200-GPU'er: først 20 billioner tokens over 21 dage, derefter mellemtræning og tilpasning til lang kontekst, i alt knap 24 billioner tokens.

Arkitekturen har 384 eksperter, hvoraf seks er aktive pr. token. Kun 10 af 50 lag bruger fuld opmærksomhed, mens de øvrige 40 bruger et glidende vindue på 512 tokens. Det skal holde driftsomkostningerne nede. Selve tilpasningen til lang kontekst nåede 256.000 tokens, men Aleph Alpha leverer indstillinger, så modellen kan køre med 1.048.576 tokens.

Tysk udgør 21,3 procent af tokens i fortræningen. Modellen har et tosproget ordforråd på 128.000 indgange og en tokenizer, der skal bevare tyske sammensatte ord. Der er fire ræsonneringsindstillinger: none, low, medium og high. Ifølge Aleph Alpha er modellen specialiseret i tysk, matematik, kode, lang kontekst og agent-opgaver. Der er også branchespecifikke evalueringer for offentlig administration, bilindustri, halvledere, industriteknologi og luftfart, som ikke bruger kundedata.

Tal og forbehold

I selskabets egne tests scorer Kolibri 75,5 samlet på engelsk og 70,8 på tysk. Den får 96,9 på AIME 2025, 85,9 på LiveCodeBench v6 og 61,4 samlet på BFCL v4. Aleph Alpha siger, at modellen ligger på paretofronten mellem kvalitet og driftsomkostning på begge sprog, og at den kan matche modeller med op til fire gange så mange aktive parametre på matematik, kode, grounding, agent-opgaver og lang kontekst.

Det er dog resultater, selskabet selv har kørt med egne testopsætninger og den højeste tilgængelige ræsonneringsindstilling. De bør derfor ses som en indikation, ikke som uafhængig dokumentation.

Et centralt punkt er grounding. Kolibri er trænet med eksempler på at afstå fra at svare og med Aleph Alphas Merlin-Arthur-metode, der skal lære den at holde igen, når der mangler belæg. På AA-Omniscience undgik den at give et forkert svar i 44 procent af tilfældene mod 14,8 procent for Kolibri Origin. Den nåede 0,23 på selskabets egen M/A-grounding-score.

Hvad det betyder

Modellen er bygget i Tyskland og trænet i Tyskland og Finland. Aleph Alpha siger, at kontrollen over datavalg, træning, evaluering, vægte og udrulning er tænkt til at opfylde europæiske krav til compliance og suverænitet. Udrulning sker med selskabets egen inferenspakke og et Kolibri-specifikt vLLM-plugin.

For danske virksomheder i regulerede brancher er pointen, at en model med åbne vægte kan køres internt, og at den er optimeret til tysk og engelsk. Dansk er ikke nævnt som understøttet sprog, så det skal testes, før man regner med det. For almindelige AI-brugere er modellen først og fremmest interessant som tegn på, at europæiske alternativer med åbne licenser er på vej.

Det betyder det for dig

Kolibri er først og fremmest til dig, der arbejder med IT eller data i en virksomhed eller myndighed, hvor følsomme oplysninger ikke må sendes ud af huset. Modellen er gratis at hente og kan køres på jeres egen hardware, så din IT-afdeling kan prøve den af uden at sende data til en tredjepart. Modellen er bygget til engelsk og tysk, så test den grundigt på dansk, før I bruger den til noget vigtigt. Bruger du bare AI til hverdag, er den mest et tegn på, at der kommer flere europæiske og åbne alternativer.