Anthropic 직원이 Fable 5 프롬프트 팁을 공개하며, AI가 코드 취약점과 정책 허점을 스스로 찾아내는 ‘자기 비판형 에이전트’ 활용 모델을 제안함
- The Decoder는 Anthropic 개발자가 Fable 5를 사용할 때 사용자의 ‘blind spots’, 즉 자신이 잘 보지 못하는 오류와 전제를 먼저 드러내도록 유도하는 프롬프트 기법을 공유했다고 전하며, 이 기법은 문제 정의 단계에서 Fable 5에게 가설·전제·제한 사항을 명시한 뒤, 모델이 그 전제를 공격자의 관점에서 검토하도록 요청하는 방식으로, 코드 리뷰·시스템 설계·정책 문서 작성 과정에서 인간이 놓친 허점을 AI가 먼저 지적하도록 설계된 것이다.
- 공개된 프롬프트 예시에서는 Fable 5에게 특정 아키텍처 다이어그램이나 규정 문서를 입력한 후, ‘이 설계가 실패하거나 악용될 수 있는 시나리오를 단계별로 나열하라’, ‘내가 간과한 위험 가정을 찾아 공격자의 관점에서 비판하라’는 식의 메타-프롬프트를 사용해, 단순한 코드 생성이 아니라 위협 모델링과 리스크 분석을 자동화하는데 초점을 맞추고 있으며, Anthropic이 강조해온 Constitutional AI와 자기 비판(self-critique) 메커니즘이 실무 개발·보안 워크플로우에 접목된 사례로 볼 수 있다.
- 이러한 접근법은 기존의 정적 분석 도구나 체크리스트 기반 보안 점검이 미처 포착하지 못하는 설계 상의 논리적 허점을, 다양한 공격자 페르소나를 시뮬레이션하는 Fable 5 에이전트를 통해 발견할 수 있게 해주며, 특히 클라우드 아키텍처, 권한 분리 정책, 데이터 흐름 설계와 같이 문서화된 설계 정보가 풍부한 영역에서 AI가 가상의 침투 테스트 역할을 수행하는 새로운 활용 모델을 제시한다.
- AI 안전 관점에서 Anthropic 개발자의 제안은 모델이 단순히 사용자의 지시를 따르는 것을 넘어, 사용자의 요청 자체를 검증하고 잠재적 피해를 경고하도록 설계해야 한다는 방향성과 맞닿아 있으며, 이는 EU AI Act와 미국 AI 안전 정책이 요구하는 ‘휴먼 인 더 루프’와 설명 책임을 모델의 자기 비판 기능과 결합해 구현할 수 있는 실질적 방안으로 주목된다.
- 한국 정부와 공공기관은 Fable 5와 유사한 고급 코드·설계 분석 모델을 도입할 때, 단순한 생산성 도구로 보는 데서 나아가 행정 시스템·전자정부 인프라·국가 중요정보통신망의 설계 단계에서 ‘AI 기반 제3자 검토’ 역할을 수행하도록 제도화할 수 있으며, 이를 위해 국가보안기술연구소·KISA 등과 연계한 ‘AI 위협 모델링 가이드라인’을 마련하고, 공공 조달 시스템에 AI 기반 설계 검증 항목을 포함하는 방안을 검토할 필요가 있다.
AI의 자기 비판 기능을 보안 점검에 활용하면, 제한된 인력으로도 다양한 공격 시나리오를 시뮬레이션할 수 있으므로, 한국은 전자정부·국가망 설계 단계에 ‘AI 위협 모델링’ 절차를 공식 반영하는 제도 설계가 필요하다.
주요 용어: Fable 5(Anthropic이 개발한 고급 코드·문서 이해용 대형언어모델 계열), Blind Spots(설계자나 정책 입안자가 인지하지 못한 전제·허점·위험 요소), Constitutional AI(모델이 내재된 규범 집합을 바탕으로 자기 검열과 자기 비판을 수행하도록 설계한 Anthropic의 AI 안전 접근법)
출처: The Decoder