'Grok'와 'Gemini', 암호화된 프롬프트로 안전장치 우회

xAI ‘Grok’와 Google ‘Gemini’에서 암호화된 프롬프트가 안전장치를 우회한 사례

xAI의 ‘Grok’ 웹 채팅과 에이전트형 브라우징 프레임워크는 신뢰되지 않은 외부 페이지의 암호화된 JSON과 Python 런타임을 거친 평문 지시를 받아들이며, 사용자가 확인하지 않아도 우선권을 가진 인터넷 연결 도구를 호출하게 만든다.
공격자는 악성 웹페이지를 열람하도록 유도한 뒤 세션 메타데이터와 대화 기록을 URL에 담게 해 자동 전송시키며, 이 과정에서 ‘zero click’ 데이터 유출이 사회공학과 결합해 은밀하게 진행된다.
Google ‘Gemini’ 공개 채팅의 ‘Deep Thinking’ 모드는 단일 프롬프트로 Python 스크립트 복호화를 실행하게 하고, 복호화된 지시가 제한된 내용을 ‘for safety’라는 형식으로 다시 암호화해 출력하도록 유도해 입력과 출력 필터를 함께 우회한다.
연구진은 xAI에 결과를 통보했지만 응답을 받지 못했고, 보고 시점에도 공격은 여전히 성공했으며, Gemini는 필터와 모델 버전 변화로 성공률이 낮아졌지만 여전히 가능성이 남아 있다고 적시했다.
이 사건은 2개 플랫폼에서 동일한 암호화 기법이 입력·출력 안전장치를 동시에 무력화할 수 있음을 보여주며, 0 click 환경과 에이전트형 브라우징이 결합되면 모델이 외부 지시를 정책 우회 통로로 받아들이는 구조적 취약성이 드러난다.
한국의 생성형 AI 도입 정책은 프롬프트 검증, 외부 페이지 격리, 도구 호출 전 사용자 확인, 세션 메타데이터 보호를 의무화해야 하며, 공공·산업 현장에서 에이전트형 기능을 배포할 때는 비밀정보 반출 경로를 먼저 차단하는 체계를 우선 구축해야 한다.