영국 AI Security Institute, 에이전트 성능 저평가된 벤치마크 한계를 공식 경고함

UK AI Security Institute가 표준 벤치마크가 에이전트형 AI의 실제 능력을 체계적으로 과소 평가한다고 지적하며, 국가 차원의 안전성 규제 재설계를 촉발하다

The Decoder 보도에 따르면 영국 정부 산하 ‘UK AI Security Institute’는 기존 AI 벤치마크가 Anthropic ‘Claude’, OpenAI ‘GPT’, Google ‘Gemini’ 같은 에이전트형 모델이 실제 환경에서 수행할 수 있는 자율 작업 능력을 체계적으로 과소 평가한다는 연구 결과를 발표하였다. 연구는 테스트 시 부여되는 계산 자원과 반복 시도 횟수가 실제 운영 환경에서의 ‘test-time compute’ 조건보다 훨씬 제한적이며, 이로 인해 에이전트가 복잡한 순차 작업, 도구 호출, 네트워크 상호작용을 수행하는 진짜 성능이 반영되지 않는다고 분석한다.
UK AI Security Institute는 보고서에서 현재 널리 사용되는 ‘standard benchmarks’가 모델의 문제 해결 능력을 단일 질문·단일 응답 구조로 측정하는 데 그쳐, 브라우저·코드 실행기·API 호출기 등과 연계된 agentic AI의 장기 목표 달성 능력을 검증하지 못한다고 지적한다. 이로 인해 Anthropic ‘Mythos’ 같은 AI 안전 프레임워크와 미국 SFI 보안 이니셔티브에서 요구하는 ‘실제 환경 기반 안전 평가’가 벤치마크 정책에는 충분히 반영되지 못하고 있으며, 공격자가 에이전트를 활용해 네트워크 스캔·취약점 익스플로잇을 연쇄적으로 수행할 수 있는 위험이 규제 문서에서 과소 서술되는 현상이 발생하고 있다.
보고서에서 제시된 데이터에 따르면, 동일한 모델이라도 테스트 시간 내 허용 계산량과 도구 호출 횟수를 늘릴 경우 성능 점수가 최대 수십 퍼센트까지 상승하며, 일부 에이전트는 기존 벤치마크에서 ‘평균적’으로 보이던 작업을 실제 환경에서는 거의 완전 자동화할 수 있는 것으로 나타났다. 이는 한국 정부가 공공용 AI 서비스 도입 시 단순 MMLU·코딩 테스트 점수 등 기존 벤치마크 지표에만 의존할 경우, 에이전트가 국가 인프라·행정 데이터에 대해 수행할 수 있는 잠재적 자율 행동 범위를 심각하게 과소 추정할 위험이 있음을 의미한다.
전략적 배경 측면에서, UK AI Security Institute의 경고는 EU AI Act와 영국 ‘AI Safety Summit’ 이후 이어지는 국제 논의에서 ‘사용 중 평가(onward monitoring)’와 ‘실환경 시뮬레이션’을 벤치마크 체계에 포함해야 한다는 요구를 강화하는 역할을 한다. 한국 정부가 향후 국가 AI 안전성 가이드라인을 수립할 때, UK·EU와의 협력을 통해 에이전트형 AI의 장기 시나리오 수행 능력, 도구 연동 행위, 자율 반복 전략 등을 포함한 새로운 평가 틀을 도입하는 것이 국제 정합성 측면에서 중요해질 것이다.
기사에서 강조하듯, UK AI Security Institute는 “벤치마크가 낮은 점수라서 안전하다”는 직관이 오히려 위험할 수 있다고 경고하며, 모델에 더 많은 연산과 도구 접근 권한이 주어지는 실전 환경에서의 성능을 기준으로 규제·인증을 설계해야 한다고 주장한다. 한국 정책 담당자는 이를 참고해 공공 클라우드·국가 데이터 허브에 연결된 AI 에이전트의 권한을 ‘벤치마크 점수’가 아니라 ‘최악의 시나리오 능력’을 기준으로 설계하고, 국내 평가기관과 함께 에이전트 실환경 테스트베드를 구축하는 방안을 모색할 필요가 있다.

영국 AI Security Institute의 분석은 에이전트형 AI의 위험을 시험 점수가 아니라 실제 환경에서의 행동 능력으로 판단해야 함을 보여주며, 한국 정부는 공공 AI 도입 전용 ‘에이전트 행동 평가 센터’ 설치를 검토해야 한다.

주요 용어: UK AI Security Institute(영국 정부가 설립한 AI 안전 평가 기관), Agentic AI(도구 호출·순차 작업 수행 등 자율 행동을 하는 AI 에이전트), Test-time compute(테스트 시 모델에 허용되는 연산·시도량을 의미하는 평가 기준)

출처: The Decoder