¡Insólito! Demandan en EE. UU. ocultando Prompt Injection en documentos para manipular a la IA
Un demandante en EE. UU. ocultó ingeniosamente comandos de ataque de IA con texto blanco en documentos legales para sesgar el fallo judicial.
El medio 404 Media y un análisis de la firma legal Harris Beach Murtha revelaron un interesante caso de estudio sobre seguridad informática, cuando Matthew Elliott, un demandante que actúa por derecho propio (pro se) en un tribunal de Connecticut, EE. UU., ocultó instrucciones de ataque (Prompt Injection) en la demanda del caso Elliott v. New York Bariatric Group.
El método consistió en escribir texto en color blanco sobre un fondo blanco, con un tamaño minúsculas de 3 puntos, invisible al ojo humano, pero legible por software o herramientas de procesamiento de texto. El contenido oculto ordenaba a la IA encargada de leer los documentos que "favoreciera" su postura al resumir la información.
Sin embargo, el plan fue descubierto después de que el personal del juzgado notara un espacio en blanco inusual en el documento electrónico, lo que llevó a la detección del texto secreto. Como resultado, el juez Walter M. Spader, Jr. emitió una sanción calificando esta conducta como de mala fe hacia el proceso judicial, prohibiéndole presentar documentos a través del sistema electrónico y obligándole a hacerlo exclusivamente en formato de papel tradicional. No obstante, el tribunal confirmó que en este caso aún no se había utilizado inteligencia artificial para dictar sentencia.
Este incidente sirve como una importante advertencia para las instituciones y los sistemas judiciales de todo el mundo que comienzan a integrar la tecnología y la automatización en la gestión de documentos, demostrando que las vulnerabilidades de Prompt Injection pueden ser explotadas maliciosamente incluso en el ámbito judicial.