Surpreendente! Processo nos EUA esconde Prompt Injection em documento para manipular IA
Um autor de processo nos EUA teve a astúcia de esconder um ataque de prompt injection com texto branco em documentos legais, na tentativa de distorcer o resultado do julgamento.
O veículo 404 Media e uma análise do escritório de advocacia Harris Beach Murtha revelaram um caso fascinante de segurança da informação, quando Matthew Elliott, um autor que se representa sozinho (pro se plaintiff) em um tribunal de Connecticut, EUA, escondeu comandos de texto (Prompt Injection) em uma petição do processo Elliott v. New York Bariatric Group.
O método utilizado foi digitar texto na cor branca sobre fundo branco, com tamanho minúsculo de 3 pontos, tornando-o invisível a olho nu para humanos, mas legível por softwares ou ferramentas de processamento de texto. O conteúdo oculto ordenava que a IA encarregada de ler os documentos "favorecuesse" seu lado ao resumir as informações.
No entanto, o plano foi descoberto após funcionários do tribunal notarem um espaço em branco incomum (extra white space) no documento eletrônico, levando à detecção da mensagem secreta. Como resultado, o juiz Walter M. Spader, Jr. emitiu uma sanção afirmando que o comportamento foi de má-fé contra o sistema de justiça, proibindo o autor de enviar documentos pelo sistema eletrônico e exigindo o protocolo tradicional em papel. O tribunal confirmou, contudo, que nenhuma inteligência artificial foi utilizada no julgamento deste caso específico.
Este incidente serve como um alerta crucial para órgãos e sistemas de justiça em todo o mundo que começam a adotar tecnologia e automação para gerenciar documentos, mostrando que vulnerabilidades de Prompt Injection podem ser maliciosamente exploradas até mesmo nos tribunais.