DeepSeek udgiver ny model, der fylder mindre i hukommelsen

Det kinesiske AI-firma DeepSeek har udgivet en ny version af sin sprogmodel, kaldet V4.1-Flash. Modellen er open source, så andre frit kan hente og bruge den.

Nyheden er, at modellen er bedre til at komprimere det, der kaldes KV-cache. Det er en slags korttidshukommelse, som en sprogmodel bruger, mens den arbejder med en samtale eller en lang tekst. Jo mindre plads den fylder, jo mere effektivt kan modellen køre.

DeepSeek beskriver forbedringen som væsentlig og som et skridt fremad for effektiviteten i åbne store sprogmodeller. Kilden nævner dog ikke konkrete tal for, hvor meget hukommelsen er skåret ned, eller hvad det betyder for hastighed og pris.

For almindelige brugere er det en teknisk detalje. Men hvis den slags forbedringer holder, kan AI-modeller på sigt blive billigere og lettere at køre.

Det betyder det for dig

Som almindelig bruger behøver du ikke gøre noget lige nu, for forbedringen sker under motorhjelmen. Den gavner først og fremmest udviklere og virksomheder, der selv kører AI-modeller, fordi de frit kan hente modellen og bruge den. På sigt kan den slags fremskridt gøre AI-tjenester billigere og lettere at tilbyde, og det kan du mærke i de værktøjer, du bruger på arbejdet eller derhjemme.