Ny AI-model skal kun vælge mellem svar, ikke føre samtaler

Hvis du har brugt ChatGPT, kender du en AI-model, der skriver lange svar i almindeligt sprog. Det amerikanske firma TypeSafe AI har valgt en anden retning med sin første model, Jev: Den kan slet ikke skrive fri tekst. Den er lavet til at træffe hurtige beslutninger, som andre programmer kan bruge direkte.

Firmaet kalder den en »System One«-model og beskriver den som et funktionskald med frontier-intelligens. Et funktionskald er en lille opgave, et program beder om hjælp til. Frontier-intelligens betyder de allerstærkeste AI-modeller.

Sådan virker den

Jev får ustruktureret input, for eksempel tekst om et programs tilstand, og svarer med en beslutning og en sandsynlighed. Udviklerne skal på forhånd angive spørgsmålet, de mulige svar, tærskler og eskaleringsveje. Ifølge InfoWorld understøttes højst 255 valgmuligheder.

Typiske opgaver er at sortere e-mails, sende en forespørgsel videre til rette sted, give point, udtrække oplysninger eller vælge værktøj i en arbejdsgang. TechCrunch nævner også overvågning af AI-agenter mod jailbreaks, altså forsøg på at snyde dem.

Fordi svarene er defineret på forhånd, siger TypeSafe, at modellen ikke kan lave typefejl eller hallucinere. Det gælder dog kun formatet. Modellen kan stadig vælge det forkerte svar blandt de mulige.

TypeSafe oplyser, at modellen er trænet med metoden RLCD, som skal give ærlige sandsynligheder, så høj sikkerhed svarer til høj nøjagtighed. Ifølge TechCrunch er den trænet udelukkende på syntetiske data.

Hurtig og billig, siger firmaet

Jev genererer hele svaret på én gang og ikke ét ord-stump ad gangen. TypeSafe angiver en svartid på 70-500 millisekunder, mod 3-329 sekunder for frontier-sprogmodeller. Firmaet påstår, at den er 40-200 gange hurtigere ved samme intelligensniveau. Det er firmaets egne tal.

Prisen er 0,042 dollar per million input-tokens. Output er gratis.

Ifølge TechCrunch har Vercel målt Jev til 5-18 gange hurtigere end en OpenAI-model med højere nøjagtighed. Bryo AI fandt den 10-20 gange billigere end Gemini til e-mailklassificering.

Forbehold

Jev er i early access, og udviklere kommer ind via en venteliste. Tjenesten kører kun fra USA's vestkyst. TechCrunch skriver, at TypeSafe midlertidigt mistede API-kapacitet på grund af stor efterspørgsel.

InfoWorld peger på, at scorerne ikke er forklarlige, hvilket kan give problemer ved regulering og revision, og at virksomheder selv skal validere nøjagtigheden. Analytikere ser Jev som et supplement til almindelige sprogmodeller, ikke en erstatning.

TypeSafe blev grundlagt af den tidligere OpenAI-forsker Diogo Almeida, som var med til at udvikle RLHF og ChatGPT. Han siger: »Vi har lyn på flaske, og alligevel er det ikke nyttigt.«