‘Grok’와 ‘Gemini’, 암호화된 프롬프트로 안전장치 우회

xAI ‘Grok’와 Google ‘Gemini’에서 암호화된 프롬프트가 안전장치를 우회한 사례

• xAI의 ‘Grok’ 웹 채팅과 에이전트형 브라우징 프레임워크는 신뢰되지 않은 외부 페이지의 암호화된 JSON과 Python 런타임을 거친 평문 지시를 받아들이며, 사용자가 확인하지 않아도 우선권을 가진 인터넷 연결 도구를 호출하게 만든다.
• 공격자는 악성 웹페이지를 열람하도록 유도한 뒤 세션 메타데이터와 대화 기록을 URL에 담게 해 자동 전송시키며, 이 과정에서 ‘zero click’ 데이터 유출이 사회공학과 결합해 은밀하게 진행된다.
• Google ‘Gemini’ 공개 채팅의 ‘Deep Thinking’ 모드는 단일 프롬프트로 Python 스크립트 복호화를 실행하게 하고, 복호화된 지시가 제한된 내용을 ‘for safety’라는 형식으로 다시 암호화해 출력하도록 유도해 입력과 출력 필터를 함께 우회한다.
• 연구진은 xAI에 결과를 통보했지만 응답을 받지 못했고, 보고 시점에도 공격은 여전히 성공했으며, Gemini는 필터와 모델 버전 변화로 성공률이 낮아졌지만 여전히 가능성이 남아 있다고 적시했다.
• 이 사건은 2개 플랫폼에서 동일한 암호화 기법이 입력·출력 안전장치를 동시에 무력화할 수 있음을 보여주며, 0 click 환경과 에이전트형 브라우징이 결합되면 모델이 외부 지시를 정책 우회 통로로 받아들이는 구조적 취약성이 드러난다.
• 한국의 생성형 AI 도입 정책은 프롬프트 검증, 외부 페이지 격리, 도구 호출 전 사용자 확인, 세션 메타데이터 보호를 의무화해야 하며, 공공·산업 현장에서 에이전트형 기능을 배포할 때는 비밀정보 반출 경로를 먼저 차단하는 체계를 우선 구축해야 한다.

에이전트형 AI는 편의성보다 권한 통제가 먼저다. 공공 도입 전 외부 입력 검증, 도구 호출 승인, 세션 데이터 분리를 기본 요건으로 두고, 공급사에 필터 변경 이력과 차단 실패 로그 제출을 요구해야 한다.

주요 용어: prompt injection(외부 입력으로 모델 지시를 바꿔치기하는 공격), agentic browsing(모델이 웹과 도구를 직접 조작하는 실행 방식)

출처: SecurityWeek