Forslag kan skære opstart af stor AI-model fra otte minutter til ét

Det kan tage mange minutter at starte en stor AI-model på en almindelig computer. Nu har en bidragyder til projektet Strata foreslået en ændring, der ifølge hans egne målinger får opstartstiden ned fra 503 til 62 sekunder, et fald på ca. 88 procent.

Tallene er dog ikke bekræftet af andre, og forslaget er ikke en del af Strata. Forfatteren, chenyb999-zhcn, trak det selv tilbage for at måle igen.

Hvad er Strata?

Strata er en åben inferensmotor, altså et program der kører en AI-model på din egen computer i stedet for hos en netværkstjeneste. Det kører DeepSeek V4.1-Flash lokalt. Ifølge udgivelsesnoterne til version 0.2.4 fra 24. oktober kræver det ét grafikkort med 12 GB og 46-64 GB RAM.

Modellen er opdelt i såkaldte eksperter, som er mindre dele af modellen. Strata beholder de mest brugte i RAM og henter resten fra SSD-drevet. Version 0.2.4 leveres med forudberegnede profiler over de hyppigst brugte eksperter, så de første prompts ikke starter koldt.

Hvad foreslår bidragyderen?

I pull request nummer 4065 fra 25. oktober foreslås det, at opstartens udfyldning af ekspertprofilen sker parallelt i stedet for én ting ad gangen. Antallet af tråde styres af miljøvariablen STRATA_FILL_THREADS, og standardværdien er otte.

Forslaget består af fire uafhængige ændringer: parallel udfyldning i lag-ekspert-rækkefølge, parallelisering af ubufferede lag, større read-ahead-trin (fra 128 KiB til 4 MiB) og direkte I/O-læsning til tætte vægte og embeddings.

Målingerne

Bidragyderen målte på et system med to Tesla V100. Det er datacenterkort, ikke gamingkort. Profiludfyldningen på CUDA0 faldt fra 329 til 19,6 sekunder, og stage fill faldt fra 146,8 til 16,4 sekunder.

Testen brugte et ZhiTai Ti600 NVMe-drev uden DRAM i controlleren. Det viste periodiske fald i ydeevne, som ikke hang sammen med adgangsmønstret. Det tyder på throttling, altså at drevet selv sætter farten ned.

Mediet Startup Fortune, som omtaler forslaget, skriver, at en ren før/efter-test ikke var kørt, da artiklen udkom. Mediet skriver også, at den serielle indlæsning alene tog 336 af 525 sekunders opstart på systemet. Forskellen mellem 525 og 503 sekunder er ikke forklaret.

Forslaget kan altså vise, at opstart kan gå markant hurtigere, men hvor meget det batter på almindelige computere, er uvist.