Intelligent implementieren: KI und iterative Methoden in Legal Operations
Künstliche Intelligenz (KI) ist aktuell aus keiner Diskussion rund um Innovation und Legal Operations wegzudenken. Mit ChatGPT und Co wurde KI-Technologie über Nacht für jedermann ohne Vorkenntnisse erfahrbar und löste damit einen KI-Hype aus. Im Rechtsbereich herrscht jedoch nach wie vor Unsicherheit und Unklarheit darüber, was die Technologie tatsächlich leisten kann und welche Anwendungen auch abseits des Massenbetriebs sinnvoll sind. Wie kann man sich also dem sinnvollen Einsatz von KI in Legal Operations nähern?
Iteration is key
Iterative Innovationsmethoden wie Lean Startup und Design Thinking wurden genau für solche Ausgangssituationen entwickelt. Sie ermöglichen es, Ideen und Grundannahmen mit überschaubarem Aufwand durch Prototypen im Realbetrieb zu testen und schnell belastbare Erkenntnisse zu gewinnen. Der Fokus liegt dabei auf dem schrittweisen Fortschritt durch validiertes Lernen und weniger auf der Implementierung einer finalen Lösung. Das mag zunächst langsamer erscheinen, ist aber langfristig schneller und wertschöpfender. Es stellt sicher, dass wir in die richtige Richtung gehen, flexibel auf neue Entwicklungen reagieren können und verhindert, dass wir Ressourcen in Projekte investieren, die keinen Mehrwert bringen und nicht angenommen werden.
In unserem Fall galt es zunächst zu klären, was KI bzw. Generative KI überhaupt leisten kann und was nicht; wie die Nutzer auf die Use Cases reagieren und welche Mehrwerte, Aufwände und Herausforderungen sich abzeichnen.
Das Setup ist schnell erklärt: Wir haben möglichst kleine, aber funktionsfähige Prototypen, sog. “Minimum Viable Products” (MVPs) aufgesetzt, die wir Stakeholdern und potenziellen Endnutzern zur Verfügung gestellt haben, um mehr über ihr Verhalten und ihre Bedürfnisse zu erfahren. Aufgrund der Verbreitung und der anhaltenden Diskussion boten sich Chatbots an, die wir mit Hilfe von Large Language Models mit eigenem Wissen anreicherten. Wir wählten kleine Use Cases aus dem Bereich Compliance und Datenschutz, da hier bereits aufbereitetes Material, z.B. Richtlinien, zur Verfügung stand. Technisch haben wir drei Setups gegenübergestellt: Einen selbstgebauten Bot sowie zwei Beta-Lösungen von externen Anbietern. Die parallele Durchführung ermöglichte uns zu vergleichen, welche Effekte unterschiedliche Setups bei den Nutzern erzielen und an welchen Stellschrauben ggf. zukünftig gedreht werden kann.
Qualität der Inputs bestimmt die Outputs
Bereits nach wenigen Wochen konnten wir die ersten Tests abschließen und folgende Learnings erzielen: Sog. Halluzinationen waren anfangs unsere Hauptsorge, also dass das Large Language Model sich nicht an die vorgegebene Datenbasis hält, sondern kreativ etwas hinzufügt und dadurch falsche Fakten wiedergibt. Im Praxistest gab es nur wenige Fälle von eindeutig falschen Ergebnissen. Vermehrt häufte sich die Rückmeldung, dass die Antworten nicht prägnant genug, verwirrend, zu allgemein oder unpassend waren – es ging also vielmehr um die Qualität. Endnutzer sind grundsätzlich bereit, Chatbots als erste Anlaufstelle anzunehmen, aber die Antworten müssen eindeutig und abschließend sein.
Die Ergebnisqualität der Prototypen ist noch unzureichend. Die Problemanalyse hat dabei aufgezeigt, dass die Frage nach der Lösung dieses Problems sich nicht einfach beantworten lässt:
1. Die Qualität steht und fällt mit der Qualität der Datenbasis. Obwohl die neuen KI-Modelle in der Lage sind, unstrukturierte Daten zu verarbeiten, führen strukturierte Daten zu einer deutlich höheren Qualität der Ergebnisse. Eine generische Datenbasis führt zu ebenso generischen Antworten der KI. Wir müssen also unsere Hausaufgaben machen und eine gute Datengrundlage aufbauen.
2. Die Qualität einer Antwort hängt stark von der Qualität der Fragestellung (Prompting) ab. Endnutzer sind keine Prompt Engineers und machen in der Regel initial zu wenige Angaben, um einen Sachverhalt zu klassifizieren. Dies ist zunächst einmal Fakt.
3. Die Modelle müssen langfristig trainiert werden, um ein höheres Qualitätsniveau zu erreichen. Einmal grob aufgearbeitetes Material allein genügt nicht.
4. Technologisch können diese Effekte abgeschwächt werden sowie der Prozess für die Fachbereiche zum Aufbau einer guten Datengrundlage, Kontrolle und Training vereinfacht werden.
5. Erst wenn an diesen Stellschrauben gedreht wurde, lässt sich abschätzen, welche Qualität aktuelle KI-Modelle erreichen können.
Darüber hinaus sollte man sich in Legal Operations immer fragen, woran andere Abteilungen im Unternehmen arbeiten. Ein rechtsspezifischer Chatbot hat seine Vorteile, aber in einem großen Unternehmen ist die Rechtsabteilung nur eine von vielen Abteilungen, die mit KI-Modellen experimentiert und mögliche Lösungen testet. Aus Nutzersicht kann es mühsam sein, nach dem passenden Chatbot zu suchen. In der Regel spielt es für ihn keine Rolle, ob es sich um ein juristisches, kaufmännisches oder sonst wie gelagertes Problem handelt. Vielmehr haben viele Fragen übergreifende Implikationen, die bestenfalls auch über dieselbe Anfrage beantwortet werden können.
Basis für langfristigen Mehrwert mit Künstlicher Intelligenz
Mit den Erkenntnissen aus den ersten Testwochen haben wir nun die Möglichkeit, weitere Entscheidungen auf einer fundierteren Wissensgrundlage zu treffen – und das ohne viel Zeit und Ressourcen investiert zu haben.
Im Mittelpunkt jeder Entscheidung sollte der langfristige Mehrwert stehen, den wir durch den Einsatz von KI erzielen können. Dabei haben wir festgestellt, dass die Qualität der Ergebnisse einen entscheidenden Einfluss auf diesen Mehrwert hat.
In einem nächsten Entwicklungsschritt könnte man nun versuchen, die Qualität schrittweise zu verbessern und zu evaluieren, welcher Mehrwert sich tatsächlich erzielen lässt und ob der Aufwand in einem angemessenen Verhältnis dazu steht. Zugleich lassen sich die Erfahrungen auch für alle weiteren KI-Projekte nutzen.
Die Potenziale von KI-Technologie sind noch lange nicht ausgeschöpft. Wir stehen noch am Anfang einer Reise, die sich exponentiell entwickelt. Mit den richtigen Methoden können wir sicherstellen, dass wir strukturiert unseren Wissensstand aufbauen und gleichzeitig flexibel auf neue Erkenntnisse reagieren können. Das versetzt uns in die Lage, langfristig sinnvolle Entscheidungen zu treffen und Projekte umzusetzen, die auf diesen kontinuierlich wachsenden Erkenntnissen basieren und einen Mehrwert für das Unternehmen generieren.
Dem sinnvollen Einsatz von KI in Legal Operations nähern wir uns dabei am besten mit einem ressourcenschonenden und kollaborativen Ansatz, Setups, die Vergleiche zulassen und einem besonderen Fokus auf der Qualität des Dateninputs. Damit schaffen wir eine gute Basis für einen langfristigen Mehrwert durch Künstliche Intelligenz.
Autorin: Yunna Choi ist Expertin für Legal Operations & Innovation und leitet diese Initiative in der Rechtsabteilung des Axel Springer Konzerns. Schwerpunkt ihrer Arbeit liegt auf der Entwicklung von Innovationen, Digitale Transformation, Legal Process Design, Legal Tech sowie Projekt- und Change Management. Als externe Beraterin unterstützt sie außerdem Rechtsabteilungen und Kanzleien bei der erfolgreichen Umsetzung von Legal Tech Projekten.
