Sichere KI-Nutzung für die Rechtsbranche
Der Einsatz von Künstlicher Intelligenz (KI) im juristischen Kontext ist in den letzten Jahren immer populärer geworden. Doch wie sicher ist der Einsatz von KI-Systemen in Kanzleien und Gerichten? Um den Einsatz von KI sicher zu gestalten, müssen Schutzziele identifiziert und deren Schutz gewährleistet werden.
Schutzziele bei KI-Systemen
Offensichtlich ist das wichtigste Schutzziel beim Einsatz von KI die Vertraulichkeit gerade der besonders sensiblen personenbezogenen Daten. Bei näherer Betrachtung sind jedoch weitere primäre und erweiterte Schutzziele (gem. BSI, NIST, ISO27001 & Co.) zu beachten: Integrität, Vertraulichkeit, Verfügbarkeit, Zurechenbarkeit, Nicht-Abstreitbarkeit, Authentizität, Verlässlichkeit.
Die Integrität bezieht sich auf die Unverfälschtheit der Information. Vertraulichkeit bedeutet, dass nur berechtigte Personen auf Informationen zugreifen können. Verfügbarkeit stellt sicher, dass die Informationen zum gewünschten Zeitpunkt zur Verfügung stehen. Zurechenbarkeit und Authentizität sichern die Rückverfolgbarkeit und die „richtige Anwendung“. Die Verlässlichkeit stellt sicher, dass ein System über einen bestimmten Zeitraum bei Verwendung gleicher Parameter verlässlich gleiche Ergebnisse liefert.
Zur Betrachtung der Schutzziele müssen drei grundlegende Zuflussquellen von Daten unterschieden werden. Zum einen gibt es die Daten, die vom KI-Modell verarbeitet werden, aber nicht zum Training verwendet werden (bspw. die Prompt-Daten). Hier ist insbesondere das Schutzziel Vertraulichkeit relevant. Zum anderen gibt es die Daten, die für das Training verwendet werden. Hier sind die Schutzziele Vertraulichkeit, Integrität, Verfügbarkeit, Authentizität und Nicht-Abstreitbarkeit zu betrachten. Zum Dritten gibt es aber auch noch das KI-Modell und seine Parameter, die geschützt werden sollten. Hier zählen zunächst ebenfalls vor allem die Schutzziele Vertraulichkeit, Integrität und Verfügbarkeit. Es muss aber auch die Verlässlichkeit betrachtet werden.
Wenn ein KI-System eingesetzt wird, sollte daher von Anfang an klar sein, dass nicht nur Daten und deren Informationen geschützt werden müssen, sondern auch das KI-Modell.
Schutz der Informationen in Trainingsdaten
Der Schutz dieser sensiblen Informationen ist nicht nur rechtlich durch die DSGVO gewährleistet, sondern muss auch durch die Funktionsweise einiger KI-Systeme berücksichtigt werden, besonders bei generativer KI. Diese werden so trainiert, dass sie trainierte Informationen wiedergeben können. Dabei lernen diese, in welcher Beziehung die Wörter zueinander stehen und welche Muster z.B. die persönlichen Informationen haben. Dies gilt für Textinformationen (Vorname, Nachname, etc.), aber auch für Bilder von Personen. Diese Beziehungen und Muster können zu einem späteren Zeitpunkt wieder abgerufen werden, was man sehr leicht nachvollziehen kann, wenn man ein gängiges generatives Modell zu Informationen und Bildern von bekannten Persönlichkeiten fragt. Dieser Effekt wird Memorization genannt und stellt ein besonders großes Datenschutzrisiko dar.
Das Fatale daran ist, dass ein generatives KI-Modell nicht vergisst. Enthält es einmal personenbezogene Informationen, können diese nicht vergessen werden (gem. Art. 17 DSGVO). Dazu müsste das gesamte generative KI-Modell mit angepassten Daten komplett neu trainiert werden, was aus technologischer Sicht unverhältnismäßig wäre.
Verarbeitung von Informationen durch KI-Modell
Daten, die durch eine KI verarbeitet werden, werden in der Regel nicht gespeichert und nicht für das weitere Training der KI verwendet, wenn entsprechende Vorkehrungen getroffen werden, wie z.B. die Verwendung von Enterprise-Versionen (vgl. ChatGPT). Dabei muss aber trotz allem berücksichtigt werden, dass die KI-Anwendung immer einen Kontext hat. Dieser Kontext muss hinsichtlich der zuvor genannten Schutzziele beleuchtet werden. ChatGPT wird bspw. auch auf Webseiten angeboten. Auch wenn ChatGPT abgesichert ist und meine Daten vertraulich behandelt, heißt es nicht zwangsläufig, dass die Webseite meine Eingabedaten vertraulich behandelt oder das Ergebnis integer darstellt. Noch vorsichtiger sollte man bei öffentlich zugänglichen KI-Systemen sein. Diese sind in der Regel kostenlos nutzbar, da Daten und Informationen für weiteres Training zur Verfügung gestellt werden.
Schutz der KI-Parameter
Wenn Dritte Zugriff auf ein KI-Modell inklusive aller Parameter erhalten, kann dies dazu genutzt werden, die KI zu falschen Entscheidungen zu verleiten oder vertrauliche Informationen preiszugeben.
Im ersten Fall analysiert der Angreifer, welche Merkmale z.B. eines Fotos am meisten dazu beitragen, dass es entsprechend klassifiziert wird. Im nächsten Schritt werden diese Merkmale bei neuen Fotos mit Störsignalen versehen, so dass eine falsche Klassifizierung erfolgt und damit die Integrität verletzt wird. Auf diese Weise kann ein Katzenfoto als Hund identifiziert werden.
Eine weitere Möglichkeit besteht darin, dass Angreifer KI-Modelle kopieren und vertrauliche Informationen auslesen. Die Vertraulichkeit muss daher bei generativen KI-Modellen besonders beachtet werden, da der Memorization-Effekt ein hohes Risikopotenzial birgt. Dabei ist zu beachten, dass die KI in all diesen Szenarien reibungslos funktioniert, keine Anzeichen von Fehlverhalten zeigt und der Angriff somit schwer zu entdecken ist.
Diese Angriffsszenarien sind keine Utopie, da im Bereich der Softwareentwicklung und insbesondere auch der KI-Entwicklung viel mit Open Source und Open Model Projekten gearbeitet wird, um hohe Entwicklungskosten zu sparen und dennoch kundenspezifische Anpassungen zu ermöglichen. Der Schutz des KI-Modells ist daher ebenso wichtig wie der Schutz der Daten, die zum Training verwendet und von der KI verarbeitet werden.
Zusammenfassung
Der Einsatz von KI-Systemen erfordert immer eine ganzheitliche Betrachtung der Sicherheitsaspekte in Bezug auf die Trainings- und Nutzungsdaten, aber auch auf das KI-Modell und den Kontext, in dem es eingesetzt wird. Wenn ein KI-Produkt in Ihrem Umfeld evaluiert wird, achten Sie nicht nur auf den sicheren Umgang mit den Daten, sondern fragen Sie auch, welche KI-Modelle verwendet werden und wie diese geschützt sind.
Berücksichtigen Sie dabei nicht nur die primären Schutzziele, sondern auch die sekundären und betrachten Sie den Kontext. Die entsprechende Analyse und Bewertung sollte immer durch einen Cybersecurity-Experten erfolgen.
Autorin: Dr. Maria Börner ist KI-Expertin und berät Kunden im staatlichen, juristischen und kirchlichen Umfeld. Sie leitet bei Westernacher Solutions das Competence Center für KI und leitet ehrenamtlich das Deutschland Team von Women in AI Netzwerk.
Autor: Tobias Müller ist Cybersecurity-Experte und berät Kunden des eJustice Beratungshauses Westernacher Solution in Cybersecurity-Fragen. Als Leiter des Competence Centers Digitale Sicherheit treibt er mit seinem Team innovative und praxisrelevante Lösungen für Security-Herausforderungen der Kunden voran.
