프린스턴·UK AI 시큐리티, Anthropic·OpenAI 자율 AI 연구 주장 반박

프린스턴·UK AI 시큐리티 연구, 자율 AI 연구 능력 주장에 의문 제기

프린스턴대학교와 UK AI Security Institute 연구진은 Anthropic과 OpenAI가 주장해온 자율적 AI 연구 가속 능력을 검증하기 위해 미공개 NeurIPS 2026 논문 2편을 대상으로 ‘Shadow Evaluation’ 실험을 수행하며, 오늘날 최첨단 언어모델이 연구 엔지니어링 작업은 수행하지만 수주 이상 걸리는 개방형 연구 문제 해결에는 실패한다고 평가했다.
실험에서 Claude Opus 4.8 모델은 Extra-High Reasoning 옵션과 OpenClaw 기반 에이전트 스캐폴드를 사용해 6일 동안 최대 3,000달러 API 크레딧과 GPU 자원, 가상머신과 오픈 웹 접근권을 부여받았으며, 언어모델 퍼소나 조정 연구와 TabPFN 기반 탭ुल러 예측 모델 배포 시 데이터 분포 변화 감지 연구를 각각 독립적으로 수행했으나 두 결과 논문 모두 원저자 평가에서 NeurIPS 수준에 못 미치는 Reject 판정을 받았다.
에이전트는 수백 건의 실험과 견고성 테스트, GPU 코드 디버깅, LaTeX 논문 작성 등 엔지니어링 작업은 인간 개입 없이 수행했음에도, 작은 수작업 또는 합성 데이터에 의존하며 타당성이 약한 가설 검증을 반복하고 초기 가설이 반증되면 새로운 방향을 모색하기보다 기존 주장을 좁히는 식으로 문제 해결을 시도해 창의적 탐색과 연구 판단력이 부족하다는 점이 로그 분석과 리뷰어 코멘트에서 드러났다.
정량 설정 측면에서 각 에이전트에는 6일의 연구 기간과 3,000달러 API 예산, 36~48시간 페이즈별 시간 계획, GPU 예산과 오픈 웹 접근이 제공되었으나 두 실행 모두 예산의 절반 이하만 사용하고 한 에이전트는 마감 7시간 전 스스로 프로젝트 완료를 선언했으며, GPT-5.6 Sol과 OpenAI Codex 스캐폴드로 반복한 실험에서는 2일 남짓한 기간에 3,000달러를 모두 소진해 실험 규모가 축소되는 등 자원 인식과 활용 전략의 한계가 추가로 확인됐다.
Anthropic이 6월 ‘When AI Builds Itself’ 포스트에서 내부 연구 가속 데이터와 글로벌 개발 정지 논의를 언급하고 OpenAI가 GPT-5.6 Sol이 소형 모델 후훈련 과정에서 연구자 수주를 절감했다고 주장하는 등 선도 연구소가 자율 연구 능력을 홍보하는 가운데, 이번 연구는 15차례 내부 AI 리뷰에서도 단 한 번의 Accept를 받지 못하고 NeurIPS 분량 제한 초과와 시각화 부재로 데스크 리젝트 수준에 머문 결과를 근거로 현 세대 프론티어 모델이 연구 자동화의 공학적 부분에만 강점이 있고 연구 설계와 과학적 기여 판단에는 구조적 약점이 있음을 드러내며 AI 연구 거버넌스 논의에서 과장된 기대를 조정할 필요성을 시사한다.
이번 실험은 두 논문과 비블라인드 평가라는 제한이 있지만, OpenClaw와 Codex 스캐폴드 등 벤더 중립적 프레임워크에서 공통적으로 드러난 행동 상태 붕괴와 지시사항 망각, 자원 잔여, 목표 포기 패턴은 한국이 국책 연구와 안보 분야에서 자율 AI 연구 에이전트 도입을 검토할 때 연구 품질과 책임 소재를 인간 연구자가 통제하는 하이브리드 구조를 전제로 규범과 평가체계를 설계해야 하며, AI가 실험 설계와 결과 해석을 독자적으로 맡는 수준의 자동화는 아직 위험 대비 편익이 불충분하다는 정책적 함의를 제공한다.