Шок! В США подали в суд с инъекцией промптов в документах ради манипуляции ИИ
Истец в СШАхитроумно спрятал атаку на ИИ белым текстом в судебных документах в надежде исказить исход судебного разбирательства.
Издание 404 Media и юридический анализ от Harris Beach Murtha сообщили об интересном кейсе в сфере ИТ-безопасности: Мэтью Эллиотт, выступавший в суде без адвоката (pro se plaintiff) в штате Коннектикут, США, спрятал инструкции (Prompt Injection) в исковом заявлении по делу Elliott v. New York Bariatric Group.
Он использовал метод печати текста белым шрифтом на белом фоне размером всего 3 пункта — человек не может увидеть это невооруженным глазом, но софт или инструменты обработки текста могут прочитать данные. Спрятанный текст приказывал ИИ, читающему документы, «встать на его сторону» при суммаризации.
Однако план раскрылся после того, как сотрудники суда заметили аномальное пустое пространство (Extra white space) в электронном документе, что привело к обнаружению тайного текста. Судья Уолтер М. Спадер-младший вынес санкции, назвав это поведение недобросовестным поведением по отношению к системе правосудия, и лишил истца права подавать документы через электронную систему, обязав его использовать традиционную бумагу. При этом суд подтвердил, что в данном деле искусственный интеллект для вынесения решений не использовался.
Этот инцидент служит важным предупреждением для ведомств и судебных систем по всему миру, которые начинают внедрять технологии и автоматизацию для работы с документами: уязвимости типа Prompt Injection могут злонамеренно использоваться даже в суде.