Gratis trick gør AI-værktøjet llama.cpp op til 42 gange hurtigere

llama.cpp er et gratis, open source-program, som gør det muligt at køre kunstig intelligens lige på din egen computer i stedet for at sende data til en sky-server. Programmet er skabt af den bulgarske udvikler Georgi Gerganov og bruges af millioner af udviklere verden over.

En gruppe udviklere har nu forbedret en teknik i programmet kaldet »prompt lookup decoding«. Kort fortalt holder AI-modellen styr på tekst, den allerede har set eller selv skrevet. Hvis den skal gentage noget lignende, fx redigere kode eller rette i et dokument, kan den genkende mønstret og skrive flere ord ad gangen i stedet for et og et. Det gør processen markant hurtigere.

Med de nyeste optimeringer er denne genkendelsesproces op til 42 gange hurtigere end før, og den bruger samtidig langt mindre hukommelse på computeren. Lægger man en ekstra optimering fra forskeren Daniel Lemire oveni, når den samlede forbedring op på omkring 140 gange ifølge tests.

Men der er en vigtig hage: Fordelen gælder kun opgaver, hvor teksten gentager sig selv, som kodeeditering, JSON-data eller rettelser i eksisterende tekst. Skal AI-modellen derimod skrive noget helt nyt, fx svare frit på et spørgsmål eller føre en almindelig samtale, er der ingen ekstra fart at hente. Testere har da også bekræftet, at teknikken ikke giver nogen mærkbar forskel i almindelig chat.

Det betyder, at gevinsten primært er interessant for virksomheder og udviklere, der bruger AI til kodning eller automatiserede rettelser i store mængder tekst, og som selv driver deres AI-modeller i stedet for at bruge en betalt tjeneste som ChatGPT.

Den bredere pointe i historien er alligevel værd at bemærke: Meget af debatten om AI-omkostninger har handlet om at bygge større og dyrere computeranlæg. Denne sag viser, at der stadig er store besparelser at hente ved blot at gøre den eksisterende software smartere, uden at det koster en krone ekstra i hardware.