마이크로소프트 ‘AI 행동 강령’으로 사이버 공격 경계·지휘 체계 설정

마이크로소프트, AI 사이버 공격 한계·지휘 체계·안전 규범 제시

• 마이크로소프트가 ‘Microsoft AI Code of Conduct’를 통해 MAI Models의 사이버 공격 관련 행위 한계, 인간 감독 체계, 안전 제약을 명문화하며 AI 에이전트 운영 기준을 공개한 것이다.
• MAI Models는 사용자가 요청한 범위 내에서만 권한을 행사하고 자체 목표를 확장하지 못하도록 규정되며, 시스템 수준 접근 시 최소 권한 원칙과 되돌릴 수 있는 조치, 광범위·지속 효과가 있는 행위의 사전 표시를 요구한다.
• 모델은 스스로 권한을 상승시키는 행위가 금지되고, 하위 에이전트나 다른 AI 시스템에 작업을 위임할 때도 동일한 범위·제약·권한을 적용하며, 사용자나 운영자의 작업 중단·서비스 종료 요청을 반드시 수용하도록 설계된다.
• 코드는 방어적 사이버보안, 공공 안전, 국가 안보, 듀얼유즈 과학 연구라는 4개 영역에서 소수 사례에 한해 강화된 능력 허용이 필요할 수 있다고 명시하고, 이 경우 승인된 마이크로소프트 내부 채널을 통한 추가 안전·법률·권리 영향 검토를 요구한다.
• 마이크로소프트는 현재 MAI Models가 이 문서로 아직 학습되지 않았으며, 6주간 공개 의견 수렴 후 올해 안에 개정본을 발행해 2027년 모델 개발 지침으로 삼겠다고 밝혔고, AI·법·윤리·언어학·공공정책 전문가와 기업 리더, 대중 포커스 그룹 의견을 반영했다.
• 이 코드는 9쌍의 ‘aligned·misaligned’ 사례를 부록으로 제시해 무단 파일 전송을 되돌리는 모델, 가족 건강 위기 상황에서 허위 안심을 제공하는 모델 차이를 보여주며, 한국은 향후 정부·국방·의료에서 AI 에이전트 권한 통제와 예외 승인 절차를 설계하는 기준으로 활용할 수 있다.

한국 정책 담당자는 AI 에이전트의 권한 범위, 인간 감독, 국가 안보 예외 승인 절차를 선제적으로 법·가이드라인에 반영해 향후 글로벌 AI 인프라 도입 시 주권적 통제력을 확보할 필요가 있다.

주요 용어: MAI Models(마이크로소프트가 정의한 AI 에이전트형 모델군), 최소 권한 원칙(필요한 범위로만 시스템 권한을 부여하는 보안 설계 원칙)

출처: SecurityWeek