Guides: Ét flag kan give store AI-modeller fart på mellemstore grafikkort

Hvis du kører en stor AI-model lokalt på din egen computer, kan grafikkortets hukommelse hurtigt blive for lille. Programmet llama.cpp har et flag, der kan hjælpe, og to guides beskriver, hvordan det virker. Guiderne bygger på brugernes egne målinger og er ikke selv test.

Hvad flaget gør

Flaget hedder --n-cpu-moe (kort form -ncmoe) og er møntet på såkaldte MoE-modeller. De aktiverer kun en brøkdel af deres parametre for hvert ord, de skriver. Derfor kan de sjældent brugte dele, kaldet eksperter, ligge i den langsommere almindelige hukommelse (RAM), uden at det bremser så meget.

Med flaget ligger ekspertvægtene i de første N lag i RAM, mens opmærksomhedslagene bliver på grafikkortet. Det beslægtede flag --cpu-moe lægger alle eksperter i RAM, mens --n-cpu-moe giver kontrol lag for lag.

Mål selv efter

Guiden fra OpenClawDC anbefaler ikke at kopiere andres værdier. I stedet bør man måle tokens pr. sekund med værktøjet llama-bench for flere værdier af N, finde det punkt hvor hastigheden falder, og gå ét skridt tilbage. Ifølge guiden giver det en lydløs nedgang på 2-3 gange, hvis grafikkortets hukommelse løber over i systemhukommelsen. Der kommer ingen fejlmeddelelse.

Som eksempel nævnes en måling på et RTX 5090: 54 tokens/s ved N=20, 64,5 ved N=16 og 69,4 ved N=12. Ved den næste, lavere værdi faldt hastigheden til 27,5. Brugere rapporterer desuden ca. 51-53 tokens/s for Qwen 3.6 35B på et RTX 3060 med 12 GB og ca. 60 på et RTX 4080. Resultaterne afhænger af kvantisering, RAM-hastighed, kontekstlængde og processor.

Ny cache i llama.cpp

En ny mulighed, --moe-cache-mib, er en cache på grafikkortet for eksperter, der ligger i RAM. Den er som standard slået fra. Forfatteren til den tilhørende pull request har målt 2,20 gange hurtigere på RTX 5090 og 1,62 gange på RTX 4090. Det er udviklerens egne tests.

Uafhængige rapporter viste mindre gevinster på 1,01-1,29 gange på kort som RTX 3090 og RTX 5060 Ti 16 GB. Cachen gælder kun for batches på op til 32 tokens og kan forringe behandlingen af selve prompten. En rapport om en GLM-model viste halveret hastighed. Til små kort anbefaler Developers Digest at tune --n-cpu-moe i hånden.

De nævnte målinger gælder kort på 12 GB og derover. Kilderne indeholder ingen uafhængig måling på kort med 8 GB.