LangChain: Smart routing skar 64 procent af AI-agenters regning

AI-firmaet LangChain har testet, hvad der sker, når en AI-agent ikke bruger den dyreste model til alt. Resultatet er, at den typiske pris per opgave faldt med 64 procent.

Testen foregik i Open SWE, LangChains egen kodeagent. En AI-agent er et program, der selv udfører opgaver i flere trin, her at skrive kode. Over 973 rigtige forløb (tråde) i perioden 16.-22. september brugte en kontrolgruppe altid den kraftigste model, GPT-6 Astra.

Sådan virker en router

I den anden gruppe sad en såkaldt router foran. Den ser på opgaven i starten og vælger et af tre niveauer: en stærk, en middel og en hurtig og billig model (GLM-5.3-Flash). Man kan sammenligne det med at sende simple sager til en juniormedarbejder og kun give de svære til den dyre specialist.

Fordelingen blev, at 56 procent af trådene gik til mellemmodellen og 34 procent til den hurtige. Kun 10 procent krævede den stærkeste model.

Resultaterne

Medianomkostningen faldt med 64 procent. Gennemsnitsprisen faldt med 42 procent, og for de dyreste 10 procent af forløbene faldt den med 37 procent.

Kvaliteten så ud til at holde. Med routeren endte 29,2 procent af trådene i en godkendt og indføjet kodeændring (pull request). I kontrolgruppen var tallet 27,3 procent. Forskellen er ikke statistisk signifikant, så den kan skyldes tilfældigheder.

Forbehold

Testen er lavet af LangChains egne ingeniører på deres egne kodebaser, så resultatet gælder ikke nødvendigvis andre. Routeren vælger niveau i starten og kan ikke skifte undervejs, hvis opgaven viser sig at være sværere end ventet. Og at en ændring bliver godkendt, fortæller ikke, om den krævede ekstra menneskeligt arbejde eller indeholdt små fejl.

Hvad betyder det?

AI-agenter kan blive dyre, fordi de laver mange kald til sprogmodeller. Testen peger på, at virksomheder kan spare meget ved ikke at bruge topmodellen som standard. Andre har set lignende tendenser: Et NVIDIA-eksperiment med 145 opgaver sparede 74 procent, men med et lille fald i nøjagtighed.