DeepSeek åbner motoren, der kører firmaets AI-modeller i drift

Det kinesiske AI-firma DeepSeek har den 20. oktober 2026 udgivet sin inferensmotor DeepInfer som open source under Apache 2.0-licensen. Inferens er det trin, hvor en færdigtrænet AI-model faktisk svarer på spørgsmål. Ifølge The Next Web er DeepInfer den motor, DeepSeek selv bruger til at servere sine modeller i produktion, og den ligger bag firmaets API, altså den adgang udviklere bruger til at koble modellerne på egne systemer.

Ifølge The Next Web fik GitHub-lageret over 8.000 stjerner i løbet af få timer efter udgivelsen.

Begrænset ved lanceringen

Ved lanceringen understøtter motoren kun én model, DeepSeek-V4.1-Flash. Ifølge The Next Web er flere modeller planlagt senere.

På hardwaresiden er der støtte til to platforme: Nvidias SM100, som hører til Blackwell-generationen, og Huaweis Ascend 950 NPU'er. Nvidias ældre Hopper-generation er ikke understøttet, skriver VKTR.

VKTR peger også på, at udgivelsen udelader dele af den produktionsopsætning, større brugere typisk har brug for: et KV-cache-system, adskillelse af prefill og decode samt load balancing på tværs af replikaer.

Hvad der er med

Ifølge README'en på GitHub er DeepInfer oprindelig bygget primært på den kendte motor vLLM, med yderligere inspiration fra SGLang og Nvidias TensorRT-LLM. Motoren indeholder blandt andet optimerede kerner (små, hurtige programdele til de tunge regnestykker), spekulativ afkodning, asynkron planlægning og struktureret output, hvor svaret kan tvinges til et bestemt format som JSON-skema.

De benchmarks, der vises, er målt på 4 SM100-GPU'er til prefill og 64 GPU'er til decode. Hastighedstallene er DeepSeeks egne og er ifølge The Next Web ikke testet uafhængigt. VKTR skriver, at ydelsestal kun er offentliggjort for Nvidia-hardware, og at der ikke er offentlige tal for kørsel på Huawei.

Hvad det kan betyde

DeepSeek siger, at firmaet deler sin produktionsstack for at hjælpe fællesskabet med at sænke beregningsomkostninger, reducere energiforbrug og gøre AI billigere. The Next Web vurderer, at udgivelsen kan sænke omkostningerne for organisationer, der kører DeepSeek-modeller.

VKTR er mere forsigtig: Ifølge mediet kræver brug i virksomheder betydelig ingeniørindsats, og der er hardwarebegrænsninger samt risiko på grund af amerikanske eksportkontroller omkring Huaweis Ascend-chips.