Claude 2: Anthropics chatbot læser 100.000 tokens ad gangen

Hvad er nyt

Anthropic offentliggjorde Claude 2 den 11. juli 2023. Den kan bruges via en API (en teknisk adgang, virksomheder kan bygge egne løsninger på) og via betawebsitet claude.ai. Ved lanceringen var chatbotten åben i USA og Storbritannien, og Anthropic planlagde at udvide til flere regioner. Danmark og EU er ikke nævnt som omfattet.

Den store ændring er længden. Claude 2 kan modtage op til 100.000 tokens i én prompt, altså omkring 75.000 ord ifølge Decrypt. Et token er et tekststykke, ofte et ord eller en del af et. Svarene kan også blive længere: op til omkring 4.000 tokens, mod cirka 512 i Claude 1.3, ifølge VentureBeat.

Hvad er smart

Med så stort et »arbejdsbord« kan du give modellen en hel rapport, en kontrakt eller en bog og bede om resumé eller svar på spørgsmål. I Decrypts test var Claude den eneste af de tre chatbots, der kunne behandle en bibeltekst på 62.000 ord, og den gav den grundigste forklaring på spansk.

Anthropic oplyser også, at Claude 2 er forbedret til kodning og matematik. Selskabet hævder desuden, at modellen er dobbelt så god som Claude 1.3 til at give ufarlige svar. Her bruger Anthropic metoder som Constitutional AI og red-teaming (hvor man bevidst forsøger at få modellen til at fejle). Sandy Banerjee, GTM-chef hos Anthropic, siger ifølge VentureBeat, at Claude er let at tale med, forklarer tydeligt sine tanker og er mindre tilbøjelig til at give skadelige svar.

Billigere eller bedre?

Bedre, ifølge Anthropics egne målinger, som ikke er uafhængigt verificeret:

- Multiple choice i den amerikanske bar exam (jurauddannelsens eksamen): 76,5 procent mod 73,0 for Claude 1.3. - Python-kodning (Codex HumanEval): 71,2 procent mod 56,0. - Matematikopgaver (GSM8K): 88,0 procent mod 85,2. - GRE (amerikansk optagelsesprøve): over 90. percentil i læsning og skrivning og omkring medianen i kvantitativ ræsonnering.

På prisen er API-prisen ifølge Anthropic den samme som for Claude 1.3. Selve dollarbeløbet fremgår ikke af kilderne. Chatbotten var ifølge Decrypt midlertidigt gratis at bruge i USA og Storbritannien. Til sammenligning koster ChatGPT Plus med GPT-4 20 dollar om måneden.

Mod konkurrenterne har Claude 2 langt det største kontekstvindue: 100.000 tokens mod 8.192 for ChatGPT og 8.196 for Google Bard i gratisversionerne dengang. ChatGPT har til gengæld den bredeste globale rækkevidde, og kun Bard klarede opgaver med aktuelle data, fordi den har internetadgang. VentureBeat kalder Claude 2 en direkte udfordrer til OpenAI.

Det er den god til

Claude 2 passer til arbejde med lange dokumenter: resuméer, gennemgang af kontrakter, analyse af store tekster og længere skriveopgaver. Ifølge VentureBeat bruger blandt andre Slack, Notion, Midjourney, Zoom, Robin AI, Sourcegraph og Jasper modellen, bl.a. til moderering, kundesupport og kontraktanalyse.

Der er også klare begrænsninger. Anthropic erkender, at modellen stadig kan give upassende svar og kan narres med jailbreaks (tricks, der får den til at bryde sine egne regler). Den bør ikke bruges til beslutninger om fysisk eller mental sundhed, og tjenesten var stadig i beta. Claude kan desuden give forkerte svar om aktuelle forhold, og i Decrypts test var dens bud på en gældsafviklingsplan grundigt, men fejlbehæftet.

Bemærk, at lanceringen er fra juli 2023. Claude 2 er en ældre model, og tilgængelighed og priser kan være ændret siden.