Baseten har Loops i prøveperiode: Finjuster åbne AI-modeller uden at styre servere

AI-selskabet Baseten tilbyder et værktøj kaldet Loops, som gør det muligt at finjustere åbne sprogmodeller uden selv at drive den tunge tekniske infrastruktur. Ifølge en omtale af Basetens lanceringer var Loops allerede i public preview, altså en åben prøveperiode, og planlagt til generel tilgængelighed fredag den 6. november 2026.

Hvad er Loops?

Loops er et Python-SDK, altså en værktøjskasse til programmører, til såkaldt LoRA-finjustering. LoRA er en metode, hvor man tilpasser en eksisterende AI-model til en bestemt opgave ved at træne et lille ekstra lag, i stedet for at træne hele modellen forfra.

Udviklerne skriver selv træningsscripts til to former for træning: supervised fine-tuning (SFT), hvor modellen lærer af eksempler, og reinforcement learning (RL), hvor modellen belønnes for gode svar. Baseten håndterer til gengæld trainer, sampler og den øvrige infrastruktur.

SDK'et har fire hovedoperationer: at beregne tab og samle gradienter, at opdatere adapteren, at generere tekst fra den aktuelle model og at gemme træningens tilstand, så den kan genoptages senere.

Ifølge dokumentationen er API'et kompatibelt med Tinker, så et script, der importerer tinker, kan køre på Loops uden at kalde-koden skrives om. Loops understøtter LoRA-træning af åbne modeller fra blandt andre Qwen, Google og DeepSeek, herunder modeller, der forstår både billeder og tekst.

To tilstande: serverless og dedikeret

I serverless-tilstand deler man kapacitet med andre. Der afregnes pr. token til modelspecifikke priser for træning og sampling, og man behøver ikke reservere en GPU. Inaktive runs koster ikke noget, og tid mellem operationer, for eksempel når man gennemser resultater eller justerer en belønningsfunktion, bliver ikke afregnet. Konkrete priser fremgår ikke af dokumentationen.

Den delte kapacitet kan blive fyldt op. Så returnerer systemet fejlen 429 og forsøger op til ti gange igen. Brugere kan via Basetens supportkanaler bede om flere samtidige runs eller større modeller.

Serverless virker kun for modeller, der er markeret som »Serverless and dedicated«, og med bestemte sekvenslængder. Understøttes en konfiguration ikke, falder den automatisk tilbage til dedikeret tilstand, eller også fejler den, hvis kun serverless er krævet.

Den dedikerede tilstand giver fuld modelunderstøttelse og afregnes efter GPU-tid. Her har man kontrol over replikaer og kapacitet.

Ifølge en omtale af Basetens produktside kan modeller, der er trænet med Loops, desuden føres direkte over i Baseten Dedicated Inference med én kommando.