DeepSeek deler motoren bag sin AI-tjeneste, men kun en del af den

Det kinesiske AI-selskab DeepSeek udgav den 20. oktober 2026 DeepInfer på GitHub, en slags motor til at køre AI-modeller. Den har Apache-2.0-licensen, som er en åben licens.

En sådan motor kaldes en inferensmotor. Den tager en færdigtrænet AI-model og får den til at give svar til brugerne. Det er den del, der afgør, hvor hurtigt og billigt en chatbot svarer.

Hvad er med

Den offentlige version understøtter modellen DeepSeek-V4.1-Flash. Den kører på Nvidia SM100-grafikchips og Huawei Ascend 950-chips.

Udgivelsen indeholder blandt andet optimeret kode til at fordele arbejdet over mange chips og spekulativ afkodning. Det er en metode, hvor modellen gætter flere ord forud for at spare tid. Dertil kommer håndhævelse af outputformat, så svarene følger en bestemt opbygning. DeepSeek har også udgivet et værktøj til tokenisering, deepseek-recipe. Tokenisering vil sige at dele tekst op i de små stykker, modellen arbejder med.

Ifølge OrcaRouter, der har skrevet en teknisk gennemgang, omfatter DeepInfer også kernelbibliotekerne FlashMLA, DeepGEMM og DeepEP samt asynkron batch-planlægning og understøttelse af struktureret output som JSON-skema.

Hvad mangler

The Next Web skriver, at udgivelsen ikke har et lagringssystem til KV-cache, som bruges til at huske tidligere dele af en samtale. Der er heller ikke adskillelse af prefill og decode, to trin i svarprocessen, og ingen lastbalancering på tværs af dataparallelle replikaer.

OrcaRouter vurderer, at DeepInfer er en referenceimplementering, altså et eksempel på beregningsstien. Den er udgivet, så andre kan undersøge og genbruge arbejdet med kernels og planlægning. Det er ifølge OrcaRouter ikke noget, man installerer og peger trafik mod. Ifølge samme kilde kræver motoren mindst 64 decode-GPU'er for at give effektivitetsgevinster, og repositoriet havde ved offentliggørelsen ingen versionerede udgivelser.

Bygget på andres arbejde

DeepInfer var oprindeligt bygget primært på vLLM, og der er hentet inspiration og bidrag fra SGLang og Nvidias TensorRT-LLM. vLLM-projektet anerkendte DeepSeek på X og lovede at indarbejde forbedringerne.

DeepSeek siger selv, at formålet er at drive DeepSeek-V4.1-Flash i stor skala med høj gennemstrømning og lav latenstid, og at dele produktionsstakken, så fællesskabet kan sænke beregningsomkostninger og energiforbrug. DeepSeeks hastighedstal er ifølge The Next Web ikke uafhængigt verificeret.

SGLang har desuden en vejledning til at køre modellen. Ifølge den er DeepSeek-V4.1 Flash en model med 40 lag og 384 routede eksperter, hvor 6 vælges ad gangen, plus én delt ekspert. Støtte i en officiel SGLang-udgivelse fandtes ifølge et resumé af siden endnu ikke, men der var et preview-Docker-image.