US-Studie: Künstliche Intelligenz übertrifft Anwältinnen und Anwälte in juristischen Alltagsaufgaben
Eine aktuelle Studie aus den USA von Vals AI zeigt: In vielen typischen Aufgaben im Kanzleialltag schnitten generative KI-Tools besser ab als Anwält:innen. Vals AI hat dazu eine Benchmark-Studie durchgeführt, bei der vier KI-Produkte vier menschlichen Jurist:innen gegenübergestellt wurden.
Studienaufbau
Die Studie beruhte auf über 200 juristischen Fragestellungen, die acht US-Kanzleien zur Verfügung gestellt haben, darunter Reed Smith, Fisher & Phillips, McDermott Will & Emery, Ogletree Deakins, Paul Hastings und Paul Weiss.
Die im Juli 2025 getesteten KI-Produkte waren Alexi, Counsel Stack, Midpage sowie OpenAI (als allgemeines KI-Tool). Die Erklärung der Leistung erfolgte anhand der drei Kriterien Genauigkeit, Belegbarkeit (konkret: Nachweisbarkeit von Quellen) sowie Angemessenheit (Mandantenfreundlichkeit / Verständlichkeit).
Ergebnisse im Überblick
- Die KI-Produkte erreichten durchschnittlich zwischen 74 % und 78 % in der gewichteten Punktzahl, die Anwält:innen erreichten 69 %.
- In Sachen Genauigkeit lag der Durchschnitt der KI bei etwa 80 %, die Jurist:innen kamen auf etwa 71 %.
- Bei der Belegbarkeit erzielten die spezialisierten Legal-KI-Produkte etwa 76 %, ein nicht-spezialisiertes Tool wie ChatGPT etwa 70 % und die Anwält:innen etwa 68 %.
- In der Kategorie Angemessenheit erreichten die Legal-KI Tools etwa 70 %, ChatGPT etwa 67 % und die Anwält:innen nur etwa 60 %.
- In 150 von 200 Fragestellungen lagen die KI-Produkte vor der Vergleichsgruppe. Der mittlere Vorsprung betrug circa 31 Prozentpunkte.
Bei komplexeren Fragestellungen, die z.B. tiefes Kontextverständnis, grenzüberschreitende Prüfungen oder besonders hohe humanjudizielle Beurteilung erforderten, hatten die Anwält:innen die Nase vorn mit im Schnitt etwa 9 Prozentpunkte Vorsprung. Ausserdem lieferten die KI-Tools auch häufiger keine Antwort oder gaben an, keine geeigneten Quellen gefunden zu haben, z.B. wurden vier bzw. drei Fragen unbeantwortet von Counsel Stack bzw. Midpage.
Hintergrund der Untersuchung
Vals AI mit Sitz in San Francisco (USA) ist eine unabhängige Plattform zur Weiterentwicklung generativer KI und erstellt regelmäßig Benchmark-Studien im Bereich KI. Gegründet wurde das Unternehmen 2023 von den Stanford-Alumni Rayan Krishnan und Langston Nashold.
