ทันเอไอ

Unglaublich! US-Kläger versteckt Prompt Injection in Dokumenten, um KI zu manipulieren

Ein Kläger in den USA hat versucht, KI durch in weißer Schrift versteckte Befehle in juristischen Dokumenten zu manipulieren, um das Verfahren zu beeinflussen.

Die Nachrichtenplattform 404 Media und eine Analyse der Anwaltskanzlei Harris Beach Murtha haben einen faszinierenden Fall zur IT-Sicherheit aufgedeckt: Matthew Elliott, ein Kläger ohne anwaltliche Vertretung (Pro-se-Kläger) an einem Bundesgericht in Connecticut, USA, hat Prompt Injections in seiner Klageschrift zum Fall Elliott v. New York Bariatric Group versteckt.

Er verwendete dabei winzigen, nur 3 Punkt großen Text in Weiß auf weißem Hintergrund. Für das menschliche Auge ist dieser unsichtbar, kann aber von Software und Textverarbeitungswerkzeugen ausgelesen werden. Der versteckte Text wies die KI, die die Dokumente verarbeiten sollte, an, bei der Zusammenfassung Partei für ihn zu ergreifen.

Der Plan flog jedoch auf, als Gerichtsmitarbeiter ungewöhnlichen Leerraum im elektronischen Dokument bemerkten und den versteckten Text entdeckten. Richter Walter M. Spader, Jr. verhängte daraufhin Sanktionen und stufte das Verhalten als böswillig gegenüber der Justiz ein. Er entzog dem Kläger das Recht, Dokumente elektronisch einzureichen, und verpflichtete ihn zur traditionellen Einreichung in Papierform. Das Gericht stellte zudem klar, dass in diesem Fall noch keine künstliche Intelligenz für die Urteilsfindung eingesetzt worden war.

Dieser Vorfall ist eine wichtige Warnung für Behörden und Justizsysteme weltweit, die zunehmend Technologie und Automatisierung zur Dokumentenverwaltung einsetzen, da Prompt-Injection-Schwachstellen selbst vor Gericht missbraucht werden können.