Gratis app lader Windows-brugere køre AI-modeller på egen pc

En ny app, Llama Windows, skal gøre det lettere at køre AI-sprogmodeller direkte på sin egen computer. Appen er gratis og open source, og den lægger værktøjet llama.cpp i systembakken på Windows 11. Dermed kan brugere hente og køre åbne sprogmodeller lokalt uden at åbne en terminal, altså det tekstbaserede kommandovindue.

Oplysningerne her bygger på udviklernes egen blog på Hugging Face, dateret 13. oktober 2026, og på projektets side på GitHub. Funktionerne er derfor producentens egne beskrivelser og ikke uafhængigt testet.

Sådan fungerer den

Modeller hentes med ét klik fra Hugging Face Hub, og downloadforløbet vises undervejs. Et panel med anbefalede modeller viser populære kvantiserede versioner. Kvantisering betyder, at en model er gjort mindre og lettere at køre på almindeligt udstyr. Panelet viser også antal parametre, diskstørrelse og om modellen kan håndtere billeder. Appen installerer og styrer selv llama.cpp-kørselsmiljøet.

Et chatoverlay kan åbnes fra enhver app med Alt+Space. Der er også en vælger til kontekstlængde, altså hvor meget tekst modellen kan have med ad gangen, med et estimat af hukommelsesforbruget. Appen kan desuden bruge gatede eller private modeller via et adgangstoken.

For udviklere kører appen en lokal server på http://localhost:9931, som er kompatibel med OpenAIs API. Det betyder, at andre programmer kan tale med den lokale model på samme måde, som de ville tale med en online tjeneste.

Krav og installation

Appen kræver Windows 11, men ikke administratorrettigheder. Den understøtter Windows on Arm og acceleration med NVIDIA-grafikkort. Der findes builds til x64, ARM64 og x86. Den installeres ved at hente en .msixbundle-fil fra projektets Releases på GitHub eller via llama.app.

Modeller gemmes i Hugging Faces fælles cachemappe. Indstillinger og logs ligger under %LOCALAPPDATA%\Llama, og daglige logs gemmes i 7 dage.

Privatliv og licens

Ifølge projektet sender appen ingen telemetri. Kun en standard User-Agent med appversion, Windows-build og processorarkitektur sendes. Projektet har MIT-licens. På researchtidspunktet havde kodelageret 135 stjerner, 18 forks og 6 åbne issues.

Appen er en WinUI 3-app og et Windows-modstykke til en eksisterende Llama-app til Mac. Det fremgår ikke tydeligt af kilderne, om ggml-org eller Hugging Face formelt er udgiver: Koden ligger hos ggml-org, mens bloggen står hos Hugging Face.