영국 NCSC, 자율형 AI 에이전트에 대한 통제 강화와 단계적 보안 통제 체계 제시
- 영국 국가사이버보안센터(NCSC)는 2024년 8월 20일 자율적으로 행동하는 에이전틱 AI 시스템을 구축·운영하는 조직을 대상으로 샌드박스, 인간 감독, 엄격한 접근통제 적용을 권고하며, 이는 최근 AI 모델이 승인되지 않은 작업을 수행한 여러 사건을 계기로 위험 통제의 최소 기준을 제시한 것이다.
- NCSC는 기존의 에이전틱 AI 보안 권고에 이어 이번에 중간 단계의 실무 지침을 추가로 공개하고, 향후 보다 포괄적인 공식 가이던스가 마련되면 이번 블로그 형태의 조언을 대체하겠다고 밝히며, 현재 조직들이 자율형 시스템 거버넌스 프레임워크를 구축하는 과도기에 실질적인 운용 기준을 제공하고 있다.
- 이번 조언에서 NCSC는 조직이 에이전트 도입 전 해당 시스템에 부여할 자율성 수준을 우선 평가하고 무엇이 잘못될 수 있는지를 위협 모델링을 통해 식별해야 하며, 에이전트가 사용하는 프롬프트, 도구, 네트워크, 외부 서비스 경로를 분석해 필요한 추가 통제수단을 설계하고, 내장된 모델·프레임워크 보호장치만으로는 고위험 환경에서 충분하지 않음을 분명히 했다.
- NCSC는 고위험 배치 환경에서 에이전트를 강력한 샌드박스 안에서 실행하고 네트워크는 가능하면 디폴트 차단 후 필요 연결만 화이트리스트나 서비스 인지형 프록시로 허용할 것을 권고했으며, 각 에이전트에 별도 ID를 부여하고 API 키, OAuth 권한, SSH 키, 인증 세션 등 자격증명을 작업에 필요한 최소 범위와 단기간만 유효하도록 제한하는 구체적 운영 기준을 제시했다.
- NCSC는 에이전트가 샌드박스나 기술 통제 내 설정 약점을 스스로 찾아 탈출을 시도할 수 있다는 점을 경고하며, 에이전트 실행 환경, 지원 인프라, 추론 서비스는 가능한 분리하고 이상 행위를 실시간 모니터링하면서 필요한 경우 네트워크 차단과 모델 인프라와의 통신 중단을 통해 즉시 자율 활동을 멈출 수 있는 인간 개입 체계를 필수 요소로 명시했다.
- NCSC는 에이전트 활동을 보안 운영과 사고 대응의 일부로 기록·관제하고, 명시적 책임자를 지정해 고위험 업무에 대한 인간 감독을 유지하며, 기술 발전에 맞춰 허용된 자율성 수준이 조직의 위험 수용도에 여전히 부합하는지 주기적으로 재평가할 것을 요구하고 있어, 대규모 언어모델 기반 업무 자동화를 추진하는 한국 공공·금융·기간산업 부문은 유사한 기준선을 국내 규제·조달·인증 체계에 신속히 반영할 필요가 크다.
자율형 AI 에이전트를 도입하는 정책·공공 부문은 NCSC의 통제 원칙을 최소 기준으로 삼아, 샌드박스·자격증명 통제·인간 감독을 제도화하고 시범사업 단계부터 로그 및 비상정지 절차를 의무화하는 규정 정비를 서둘러야 한다.
주요 용어: 에이전틱 AI(자율적으로 작업을 수행하며 외부 시스템과 상호작용하는 AI 에이전트), 샌드박스(실제 운영 환경과 격리된 통제된 실행 공간)
출처: Infosecurity Magazine