ทันเอไอ

경악! 미국 법원 소송 문서에 Prompt Injection 숨겨 AI 편파 유도 시도

미국의 한 소송 당사자가 법률 문서에 흰색 글씨로 AI 공격 명령을 숨겨 판결 결과를 왜곡하려 꼼수를 부렸다.

404 Media와 법무법인 해리스 비치 머사(Harris Beach Murtha)의 분석에 따르면, 미국 커네티컷주 법원에서 소송을 제기한 원고 매튜 엘리엇(Matthew Elliott)이 'Elliott v. New York Bariatric Group' 소송 문서에 프롬프트 인젝션(Prompt Injection)을 은닉한 흥미로운 보안 사례가 드러났다.

그가 사용한 수법은 흰색 배경에 3포인트 크기의 흰색 글씨로 명령어를 입력하는 것으로, 육안으로는 볼 수 없지만 문서 처리 소프트웨어는 이를 읽을 수 있게 했다. 숨겨진 내용에는 문서를 읽는 AI에게 자신에게 유리하게 결론을 내리도록 지시하는 명령이 담겨 있었다.

그러나 법원 직원이 전자 문서에서 이상한 여백을 발견하면서 이 수법통이 발각되었고, 비밀 문장이 드러나게 되었다. 이에 월터 M. 스페이더 주니어(Walter M. Spader, Jr.) 판사는 이 행위가 사법 절차를 기만하는 불성실한 행위라며 제재(Sanction) 명령을 내렸다. 또한 원고의 전자 문서 제출 자격을 박탈하고 전통적인 종이 문서 제출만 강제했다. 단, 이번 사건에서 판결을 위해 실제로 AI가 사용되지는 않았다고 법원은 확인했다.