Harvey tilføjer 500 kontraktopgaver til test af juridisk AI

Harvey, som leverer AI-værktøjer til jurister, har udvidet sin test Legal Agent Benchmark (LAB) med 500 nye opgaver om kontraktarbejde. Det blev offentliggjort 12. juni 2026. En benchmark er en standardiseret prøve, hvor man kan sammenligne, hvor gode forskellige AI-modeller er til den samme type opgaver.

De 500 opgaver fordeler sig på 10 kontrakttyper, blandt andet kommercielle aftaler, IP/licens, virksomhedsopkøb (M&A), finansiering, fast ejendom, ansættelse, data/privatliv og tvister.

Alt eller ingenting

Opgaverne bedømmes efter princippet »all-pass«. Det betyder, at AI-agenten skal gennemføre alle relevante rettelser og finde alle røde flag i en kontrakt. Delvis point findes ikke. Det er en af grundene til, at scorerne på LAB generelt er lave.

Harveys indlæg om udvidelsen indeholder ingen resultater for de enkelte AI-modeller. Tallene nedenfor gælder derfor ikke de 500 kontraktopgaver.

Benchmarken måler i dag enkelte forhandlingstrin. Den måler ikke autonom kontraktforhandling, hvor agenten selv forhandler og henviser de vigtigste beslutninger til mennesker. Harvey nævner det som fremtidigt arbejde.

Lave scorer i hele LAB

Hele LAB omfatter 1.749 opgaver fordelt på 24 praksisområder plus in-house kontraktarbejde, bedømt efter over 100.000 kriterier. Opgaver, kriterier og testmiljø ligger åbent på GitHub under MIT-licens. Mercor administrerer ranglisten sammen med Harvey.

På den version af Mercors liste, som siden viste, ligger Gemini 4 Argon øverst med 27,4 procent, efterfulgt af Grok 4.7x med 19,5 procent og Muse Spark 1.2x med 19,4 procent. Opus 5 har 17,8 procent.

Anden test, andet billede

Artificial Analysis kører sammen med Harvey en særskilt test, LAB-AA v1.1, der udkom i oktober 2026. Den bruger 120 private opgaver fordelt på 24 praksisområder. Version 1.1 tjekker hver leverance mod opgavens kildedokumenter. Væsentlige hallucinationer, altså opdigtede oplysninger som forkerte partsnavne, beløb eller datoer, får opgaven til at fejle.

Her ligger Metas Muse Wonder Full (Max) øverst med 13,1 procent. Muse Wonder (Max) har 10,0 procent, og Grok 4.7 (Xhigh) har 9,4 procent.

Procenttal fra de to lister og fra forskellige versioner kan ikke sammenlignes direkte, og placeringen afhænger af version, dato og metode.

Agenter i stor skala

Harvey meddelte 5. maj 2026, at over 500 agenter til konkrete anvendelser var live i platformen, og at værktøjet Agent Builder var kommet i early access. Ifølge Harvey har juristteams oprettet over 25.000 egne agenter, og over 100.000 jurister i 1.500 organisationer i mere end 60 lande er kunder. Direktør Winston Weinberg siger, at juraen nu er forbi AI som assistent og i agenternes tid.