Brasilianische Anwälte wegen Manipulation von KI System eines Gerichts zu Geldstrafe verurteilt
Ein Arbeitsgericht in Brasilien hat zwei Anwälte zu einer Geldstrafe von rund 84.000 brasilianischen Real (ca. 14.000 EUR) verurteilt, nachdem sie versucht hatten, ein KI System eines Gerichts innerhalb eines Gerichtsverfahrens zu beeinflussen. Nach Angaben des Gerichts wurden Eingaben so formuliert, dass die KI die Position ihrer Mandanten bevorzugt darstellen sollte.
Das betroffene Gericht nutzt KI zur Unterstützung bei der Analyse von Dokumenten, Zusammenfassungen und weiteren Verfahrensschritten. Die Anwälte sollen dabei Anweisungen in eingereichte Texte eingebettet haben, die das Verhalten des Systems gezielt steuern sollten. Solche Angriffe werden als „Prompt Injection“ bezeichnet. Dabei werden versteckte oder scheinbar legitime Anweisungen in Inhalte eingebaut, um die Ausgabe eines KI Sprachmodells zu manipulieren. Dies kann z.B. mit der Verwendung von weisser Schrift auf weissem Hintergrund kaschiert werden.
Manipulation wurde durch menschliche Kontrolle entdeckt
Bemerkenswert ist, dass die Manipulation nicht automatisch erkannt wurde. Laut einem Bericht bemerkte der zuständige Richter Unstimmigkeiten in den Ergebnissen der KI, untersuchte die Ursache und führte diese auf die eingereichten Dokumente zurück. Die Entdeckung erfolgte damit ausschließlich durch menschliche Aufmerksamkeit und nicht durch technische Schutzmechanismen.
Die genaue Formulierung der eingebetteten Anweisungen wurde bislang nicht veröffentlicht. Das Vorgehen entspricht jedoch bekannten Angriffstechniken, bei denen KI Modelle dazu gebracht werden sollen, bestehende Anweisungen zu ignorieren und bestimmte Inhalte stärker zu gewichten oder bevorzugt darzustellen.
