Stupéfiant : une injection de prompt cachée dans des documents judiciaires aux États-Unis pour biaiser l'IA
Un plaignant américain a inséré des attaques par injection de prompt en texte blanc dans des documents juridiques pour manipuler le jugement.
Le média 404 Media et une analyse du cabinet d'avocats Harris Beach Murtha ont révélé un cas fascinant de sécurité informatique : Matthew Elliott, un plaignant agissant en son nom propre (pro se plaintiff) devant un tribunal du Connecticut, aux États-Unis, a dissimulé des instructions (Prompt Injection) dans les documents de sa plainte pour l'affaire Elliott v. New York Bariatric Group.
La méthode consistait à taper du texte en blanc sur fond blanc, d'une taille minuscule de 3 points, invisible à l'œil nu pour les humains mais lisible par les logiciels et outils de traitement de texte. Le texte caché ordonnait à l'IA chargée de lire les documents de « prendre parti » pour lui lors de la synthèse des informations.
Cependant, le stratagème a été découvert après que le greffe a remarqué un espace blanc anormal dans le document électronique, menant à la mise au jour du message secret. Le juge Walter M. Spader, Jr. a prononcé des sanctions, qualifiant ce comportement de manqué à la bonne foi envers la justice, et a révoqué son accès au système de dépôt électronique, l'obligeant désormais à soumettre ses documents sur papier. Le tribunal a toutefois précisé qu'aucune IA n'avait réellement été utilisée pour juger l'affaire.
Cet incident sert d'avertissement majeur pour les institutions et les systèmes judiciaires du monde entier qui commencent à intégrer la technologie et l'automatisation pour la gestion des documents, montrant que les vulnérabilités de type Prompt Injection peuvent être exploitées à mauvais escient, même devant les tribunaux.