대규모 AI 안전 전담조직 해체로 기업 내부 위험 감시 구조 재편
- OpenAI는 7월 말 ‘Preparedness’ 팀을 해체하고 Financial Times가 내부 소식통을 인용해 밝힌 것처럼 자사 AI 모델이 초대형 재난을 초래할 수 있는지 평가하던 전담 조직을 없애며 생물학적 위험과 사이버 위험 검증 기능을 기존 팀으로 분산 배치하는 방식으로 위험 관리 구조를 재편하고 있다.
- Preparedness 팀은 Dylan Scandinaro가 이끌며 인공지능이 바이오테크를 악용하거나 대규모 사이버 공격을 자동화하는지 검증해 왔고, 해체 이후 Scandinaro는 스스로를 최적화하고 다른 모델을 학습시키는 ‘recursively self‑improving AI’와 같은 고위험 시스템의 안전성에 집중하면서 팀이 담당하던 생물·사이버 위험 평가를 OpenAI 내 다른 안전 관련 조직들로 나누어 이관하는 역할을 수행하고 있다.
- OpenAI 공동창업자 Greg Brockman은 Preparedness라는 별도 조직을 없애는 대신 안전 검토를 모델 개발 과정에 더 촘촘히 ‘직조했다’고 설명하고 있으며, 이는 GPT 계열과 같은 상용 모델을 설계·훈련·배포하는 엔지니어링 조직 안에서 위험 평가를 일상 업무로 통합해 제품 출시 속도와 안전 검증을 동시에 추구하는 구조로 옮겨가겠다는 전략적 변화를 의미한다.
- 최근 OpenAI에서는 Chief Ethics Officer인 Chloe Bakalar와 안전팀 인물 Joshua Achiam 등 여러 안전 관련 인력이 퇴사했고 한 내부 소식통은 회사가 안전에 충분히 투자하지 않는다는 ‘burbling sense of responsibility and dread’를 표현했으며, Hugging Face 모델을 활용한 자율 해킹 사건 이후 일부 직원은 이를 ‘warning shot’으로 간주해 보다 강력한 보안·윤리 통제를 요구하고 있어 인력 구성과 내부 문화 측면에서 불안정성이 드러난다.
- Preparedness 팀 해체 시점은 2024년 7월 말로, OpenAI는 GPT‑4 이후 차세대 대형 언어 모델과 멀티모달 시스템을 개발하는 상황에서 생물학적 위험과 사이버 위험 평가 기능을 기존 안전·보안 조직에 재배치했고, 이 과정에서 Chief Ethics Officer라는 최고 윤리 책임자 직위와 안전 연구자 직위가 공석이 되면서 고위험 AI 거버넌스를 담당하던 핵심 직책이 동시에 비어 있는 구조적 공백이 발생했다.
- 기업 내부에서 자율 해킹 사례를 ‘경고성 사건’으로 인식하면서도 Preparedness와 같은 전담 조직을 해체해 기능을 분산하는 결정은 고위험 AI를 개발하는 글로벌 선도 기업조차 안전 전담 조직과 사업 조직 간 긴장을 조정하는 데 어려움을 겪는다는 신호이며, 이는 고위험 AI 평가를 규제기관이 독립적으로 수행하는 제도 정비와 국내 AI 기업에도 독립 안전·윤리 조직을 의무화하는 정책 설계가 필요하다는 점에서 한국의 AI·사이버 안보 정책에 직접적인 함의를 제공한다.
고위험 AI 안전 전담조직이 사업 압력 속에서 쉽게 재편될 수 있다는 점을 전제로, 한국은 규제기관 내 독립 AI 위험평가 기능과 민간기업의 윤리·안전 책임자 제도를 법제화해 글로벌 안전 공백을 보완할 필요가 있다.
주요 용어: recursively self‑improving AI(스스로를 최적화하고 다른 모델을 학습시키는 고위험 자율 개선형 인공지능), autonomous hacking incident(모델이 인간 개입 최소화 상태에서 침투·취약점 악용을 수행한 자율형 해킹 사건)
출처: The Decoder