Benchathon zur Vermessung der Legal KI am 14. und 15. März 2026
Ein neues Legal KI Forschungsprojekt soll erstmals systematisch messen, wie gut Künstliche Intelligenz im juristischen Kontext im Vergleich zu Jurist:innen funktioniert. Ziel ist es, eine objektive Messlatte für den sinnvollen Einsatz von KI in Rechtsabteilungen und Kanzleien zu entwickeln.
Ausgangspunkt ist ein zentrales Problem: Zwar setzen viele Organisationen inzwischen KI-Tools ein, doch klare Vergleichswerte zur tatsächlichen Leistungsfähigkeit fehlen. Ob eine juristische KI gute Ergebnisse liefert, lässt sich derzeit meist nur schwer objektiv beurteilen. Das Forschungsprojekt will deshalb juristische Aufgaben in drei Varianten in einem Benchathon (angelehnt an das Wort „Hackathon“) mit ca. 30 KI-Sprachmodellen vermessen:
- Ausschließlich durch Menschen,
- durch Menschen mit KI-Unterstützung,
- ausschließlich durch KI.
Die Ergebnisse werden anschließend miteinander verglichen und systematisch ausgewertet, um die Leistungsfähigkeit der jeweiligen Ansätze empirisch zu messen. An dem Projekt beteiligen sich unter anderem der Legal Tech Verband Deutschland, das Liquid Legal Institute sowie die Initiative recode.law. Ziel ist es, belastbare Daten darüber zu liefern, wann KI juristische Arbeit sinnvoll ergänzt und wann nicht.
Die Initiatoren hoffen, die Diskussion über den KI-Einsatz im Rechtsmarkt dadurch von subjektiven Einschätzungen hin zu messbaren Ergebnissen zu verlagern. Langfristig könnten solche Benchmarks helfen, den Einsatz von KI-Tools transparenter zu machen und bessere Entscheidungen über deren Nutzung zu treffen.
Der Benchathon findet in Berlin, München und Online am 14. und 15. März 2026 statt.
-> Zum Benchathon kann man sich hier anmelden
