Tokenmaxxing: Er højt AI-forbrug en dyd eller en dyr vane?

AI-modeller regner i tokens, små tekststykker, som både det, du skriver ind, og det, modellen svarer, bliver delt op i. Jo flere tokens, jo højere regning. Nu er begrebet tokenmaxxing begyndt at cirkulere, men det betyder ikke det samme for alle.

Ifølge TechTarget bruges ordet på to modsatte måder. Enten er det at jage et højt tokenforbrug som mål i sig selv eller som tegn på, at man bruger AI. Eller det er at få mest mulig værdi ud af hvert token gennem bedre prompts, systemdesign og valg af model.

Forbrug som strategi

Bloggeren Tom Tunguz bruger bevidst begrebet om at maksimere sit forbrug for at blive mere produktiv. Han skriver, at han over seks uger har øget forbruget 20 gange og har brugt 250 millioner tokens på én dag. Tallene er hans egne oplysninger.

Han henviser til forskning fra METR om, at de nyeste modeller kan arbejde selvstændigt i 12 timer mod 1 time et år tidligere. Hans råd er at lægge en dagsplan om morgenen, så flere AI-agenter kan arbejde samtidig. Et eksempel er fem agenter til ét oplæg: én analyserer git-commits, én gennemgår fejllogs, én faktatjekker kilder, én bygger præsentationen, og én kritiserer den.

Forbrug som fælde

Thoughtworks ser det modsat og definerer token-maxxing som den skadelige praksis at optimere AI-systemer mod højere forbrug frem for bedre resultater. Konsulenthuset anbefaler styring og kontrol under kørsel, færre agenter og at se overforbrug som et spørgsmål om systemets opbygning. Shayan Mohanty, Chief Data and AI Officer hos Thoughtworks, siger: »The challenge for enterprises is no longer just how to build agents, but how to govern the resources they consume.«

i-SCOOP argumenterer ligeledes for, at mange tokens ikke er lig med værdi. Det kan give højere pris, langsommere systemer, mere støj og »context rot«, hvor for meget kontekst forringer modellens fokus.

Her gemmer regningen sig

TechTarget skriver, at svar fra modellen typisk koster 2-4 gange mere pr. token end det, man sender ind, og at de største modeller er markant dyrere end mindre. Fire skjulte omkostningsdrivere er lange prompts med hele dokumenter, gentagen indsprøjtning af den samme kontekst, ordrige svar uden længdegrænse og agent-løkker uden stopbetingelser.

Af tiltag nævner TechTarget at sende opgaver til en model i passende størrelse, stramme styringen af kontekst, sætte grænser for genforsøg og løkkedybde og kræve struktureret output. En ekspert citeret af TechTarget vurderer, at modelrouting alene kan skære tokenudgifter med 60 % på blandede opgaver. Tallet er en enkelt vurdering uden angivet grundlag.

i-SCOOP anbefaler at starte med de ønskede resultater frem for tokenbudgetter. TechTarget peger også på risici ved sikkerhed og regler, bl.a. datalækage via prompts og manglende auditlogs.

Både TechTarget, Thoughtworks og i-SCOOP er rådgivnings- eller konsulentindhold med egne interesser.