Gray Swan, AI 에이전트 시대 맞아 레드팀 Arena 개편

Gray Swan의 ‘Arena 2.0’이 AI 에이전트 공격 검증과 인력 양성을 결합하다

• Gray Swan은 2026년 10월 20일 공개 레드팀 플랫폼을 Arena 2.0으로 개편하고 AI 에이전트 탈취 시험을 시작했다.
• IPI Black은 웹페이지·포럼 글에 숨긴 지시로 에이전트 행동을 바꾸는 공격을 샌드박스에서 검증한다.
• 이번 대회는 상금 $300,000 규모로 Anthropic·Meta·Google DeepMind·Reflection AI가 후원하며 공격 시나리오는 11월 2일까지 매주 공개된다.
• 영향 대상은 Anthropic·OpenAI·Google DeepMind의 출시 전 모델과 기업용 AI 배포 환경, 공개 Arena의 가드레일 모델, 비공개 Arena의 검증 참여자다.
• 2024년 9월 Arena 참가 커뮤니티는 Discord 기준 약 15,000명이었고 Gray Swan은 정규직을 연초 15명에서 66명으로 늘렸다.
• 에이전트가 외부 자료를 읽고 실행하는 구조로 바뀌면서 전문 인력 수요가 커졌고 한국은 교육형 검증 플랫폼과 산업별 안전시험 역량을 육성할 기회를 맞는다.

정책 담당자는 공공 AI 조달에 에이전트의 외부자료 오염 시험을 포함하고, 국내 연구자에게 안전한 샌드박스·인증·실전 검증 경로를 연계해야 한다.

주요 용어: 레드팀(공격자 관점의 안전성 검증), 간접 프롬프트 주입(외부 콘텐츠의 숨은 지시로 AI 행동을 유도하는 공격)

출처: Fortune