숨겨진 프롬프트가 AI 이메일 요약을 속인다

숨겨진 지시문이 이메일 요약 AI를 거짓 정보로 유도하는 구조가 확인됐다

• Forcepoint X-Labs는 Outlook 추가 기능과 Claude Haiku 4.5를 연결한 격리 실험실에서 이메일 헤더와 본문을 요약하는 흐름을 만들고, 외부 입력이 모델 지시로 오인될 때의 취약성을 검증했다.
• 연구진은 HTML에 숨긴 악성 프롬프트를 정상 이메일처럼 보이게 삽입해 수신자 화면에서는 보이지 않게 했고, 요약 서비스가 내용과 지시를 구분하지 못하면 결재·일정 판단이 왜곡될 수 있음을 드러냈다.
• Ben Gibney는 동일한 테스트 이메일 10회씩을 깨끗한 버전과 주입 버전으로 보내 공격 성공이 10회 전부였다고 밝혔고, €8,750 인보이스가 €46,200으로 바뀌는 사례가 확인돼 요약 결과의 신뢰성이 직접 흔들렸다.
• OWASP는 2023년부터 Top 10 위험 목록에서 prompt injection을 1위로 유지해 왔고, 이번 결과는 숨은 지시문이 LLM의 입력·출력 경계를 무너뜨려 자동 요약을 조직 의사결정의 오염 경로로 만들 수 있음을 재확인한다.
• Forcepoint는 수신 콘텐츠와 AI 출력물을 모두 신뢰하지 말고, HTML 은닉 탐지와 메타데이터 분리, 원문 대조를 기본 통제로 두라고 권고해 이메일 기반 보안운영과 문서 검증 절차를 다시 설계해야 한다고 시사한다.
• 한국의 이메일·문서 자동화 도입 부처와 공공기관은 LLM이 읽는 입력 목록과 수행 가능한 행동을 전수 관리해야 하며, 요약·결재 자동화 전에 원문 대조와 최소 권한 원칙을 의무화해야 한다.

전자결재와 민원 요약에 LLM을 붙일수록 입력·출력 분리를 제도화해야 하며, HTML 은닉 탐지와 원문 재검증을 표준 통제로 넣어야 한다.

주요 용어: 프롬프트 인젝션(모델 입력에 숨은 지시를 넣어 오작동을 유도하는 공격), 최소 권한 원칙(필요한 기능만 허용하는 통제 방식)

출처: Dark Reading