오픈AI, 자사 AI를 공격하는 체계 공개…안전 검증 전쟁 돌입

AI 기업이 스스로의 모델을 공격하는 방식으로 안전성을 시험하면서, 모델 성능 경쟁보다 검증 체계가 중요해지고 있다.

• The Decoder는 OpenAI가 AI를 이용해 자체 AI를 공격하는 방식을 사용하고 있다고 보도했다.
• 이 접근은 인간이 찾기 어려운 취약점을 자동 탐지해, 모델 안전성 검증의 폭을 넓힌다.
• 기사에는 OpenAI의 내부 평가 방식이 인간보다 더 나은 성과를 냈다고 언급되어, 자동 검증의 실효성이 부각된다.
• 한국 AI 정책은 성능 지표뿐 아니라 안전성 평가와 적대적 테스트를 제도화해야 한다.
• 공공 AI 도입 시에는 고위험 기능에 대한 사전 검증과 사고 보고 체계를 의무화할 필요가 있다.

AI 안전은 선언이 아니라 반복 검증의 문제이다. 정부는 모델 출시 전 적대적 테스트와 사후 책임 추적을 제도화해야 한다.

주요 용어: 적대적 테스트(공격 시나리오로 취약점을 찾는 검증), 모델 안전성(유해 출력과 오작동을 줄이는 성질), 자체 공격 평가(self-red-teaming)

출처: The Decoder