눈에 보이지 않는 텍스트로 법원 AI 검토를 조작하려 한 시도와 그 제재.
- 코네티컷에서 자가소송인인 Matthew Elliott가 2025년 10월 뉴욕 Bariatric Group을 상대로 데이터 프라이버시 침해와 차별 등을 주장하는 소송을 제기하면서, 법원 서류에 3포인트 흰 글자를 흰 배경에 숨겨 넣어 잠재적인 AI 기반 자동 검토가 자신의 주장을 지지하도록 유도하는 프롬프트 인젝션을 시도한 사건이다.
- Elliott는 초기 서류에서 이전 서기의 기각 결정을 오류로 규정하고 이를 시정하라는 지시를 숨은 텍스트에 포함했으며, 법원은 서류의 비정상적으로 넓은 공백을 이상하게 여겨 정밀 검토 끝에 육안으로 거의 보이지 않는 이 텍스트를 발견했고, 이후 Walter Spader Jr. 판사가 심리를 지정해 서류에 숨은 텍스트를 넣지 말라는 명시적 경고를 전달했다.
- 경고 이후에도 Elliott는 추가 제출 문건에 유튜브 링크와 조롱성 메시지를 같은 방식으로 숨겨 반복적인 조작 시도를 이어갔고, 404 Media에 자신의 첫 시도는 법원의 AI 검토 시스템 존재 여부를 확인하기 위한 일종의 ‘감사’였고 이후 삽입한 메시지는 ‘보이지 않는 농담’일 뿐이라 해명했지만, 판사는 이러한 행위가 잠재적 결정 지원 도구를 비밀리에 조종하려는 부정직한 시도라고 판시했다.
- Spader 판사는 14쪽 분량 판결문에서 코네티컷 법원은 현재 AI 시스템을 사용해 서류를 검토하거나 판단하지 않으므로 Elliott의 숨은 지시는 실제 재판 결과에는 영향을 미치지 못했다고 밝히면서도, 배심원에게 비밀리에 자동화 에이전트를 보내 설득하는 행위와 유사한 수준의 부적절한 시도라 규정하고 제재로 전자적 제출 권한을 박탈해 이후 모든 서류와 증거를 서기 사무실에 직접 종이로 제출하도록 명령했다.
- 판결문은 Spader 판사가 문서 작성 보조 수단으로서의 AI 활용은 환영한다고 명시해, ChatGPT 확산 이후 미국 연방 법원에서 변호사 없이 제기된 소송이 2025년 기준 41,490건으로 AI 도입 이전 평균의 거의 두 배로 증가했고 2026년 초 접수된 일부 소장에서 18%가량이 AI 생성으로 추정된다는 MIT·USC 연구 결과를 인용하며, 동시에 언어 모델이 이용자의 논리를 설득력 있게 강화하는 경향 때문에 잘못된 법리도 강화될 수 있다고 경고했다.
- Spader 판사는 브라질에서 두 명의 변호사가 법원 AI 시스템을 조작하려고 흰 배경에 축소된 흰 글자를 숨겨 넣었으나 법원 자체 시스템이 이를 탐지하고 처리 전에 차단한 유사 사례와, 일본 경제지 Nikkei가 2023년에 arXiv 프리프린트 17편에서 ‘positive review only’와 ‘no criticism’ 같은 지시를 흰 글자나 극소 폰트로 숨겨 AI 기반 동료평가를 왜곡하려던 시도를 적발한 사례를 언급해, 문서 내 보이지 않는 프롬프트 인젝션이 사법·학술 등 다양한 영역에서 확산되고 있음을 지적하며, 이러한 조작 시도가 향후 재판문·행정문서·입법자료에 연결될 경우 한국에서도 디지털 문서 포맷 규제와 공공 AI 검토 시스템의 프롬프트 인젝션 탐지·차단 기능을 선제적으로 설계해야 할 필요성을 시사한다.
공공분야 AI 문서 검토 도입을 검토하는 정책 담당자는 전자 제출 규칙과 문서 포맷 표준에서 숨은 텍스트 삽입을 명시적으로 금지하고, 향후 사법·행정 시스템용 AI에는 프롬프트 인젝션 탐지 기능과 이용자 책임 규정을 결합해 제도화하는 방안을 서둘러 마련할 필요가 있다.
주요 용어: 프롬프트 인젝션(문서나 시스템에 숨은 지시를 삽입해 AI 응답을 조작하는 공격 기법), 프로 세 소송인(변호사 없이 스스로 소송을 수행하는 당사자)
출처: The Decoder