Google ‘DiffusionGemma’ 공개…기존 모델 재가공형 AI 전환

구형 Gemini를 ‘DiffusionGemma’로 재가공…텍스트 생성의 속도·정확도 균형 재설계

• Google DeepMind는 Gemma 4를 새로 학습하지 않고 DiffusionGemma로 전환해, 256개 토큰 블록을 병렬로 다듬는 확산 방식과 기존 단어별 생성 방식을 함께 지원하는 실험용 모델을 공개했다.
• 이 모델은 두 단계로 학습되며, 먼저 잡음이 섞인 텍스트를 복원하고 이어 SD·RL로 불리는 강화학습과 sampler distillation을 결합해 추론 품질과 계산 효율을 동시에 조정했다.
• Nvidia H100에서 초당 약 1,500토큰을 처리하고, 수학 문제에서 기존 Gemma 4가 먼저 낸 답을 뒤집는 식의 보정이 가능해져 JSON과 코드 수정처럼 구조가 고정된 업무에서 빠른 재정렬이 가능하다.
• Google은 Gemma-4-26B-A4B를 출발점으로 삼아 원래 훈련 토큰 예산의 10% 미만만 써서 확산 모델로 바꿨고, SD·RL 단계에서 추론 벤치마크 품질을 평균 10점 높이면서 컴퓨트당 토큰 수를 거의 4배로 늘렸다.
• 이 방식은 답변 길이를 약 50% 줄이고 단일 사용자 환경에서는 속도를 크게 높이지만, 동시 요청이 약 32건을 넘으면 기존 언어모델이 처리량을 따라잡아 대규모 공공 서비스의 실사용 성능 평가는 별도 검증이 필요하다.
• 한국 정책 관점에서는 Apache 2.0 공개와 Interfaze의 다국어 음성인식, 영상의학 보고서 생성 활용이 보여주듯, 국산 보안·언어모델도 저비용 재가공형 구조로 전환해 공공·의료·국방 특화 AI와 보안 자동화를 함께 키울 수 있다.

DeepMind의 접근은 새 모델을 만드는 경쟁보다 기존 모델을 재설계해 효율을 끌어올리는 방향이 유효함을 보여준다. 한국은 공공 조달과 연구개발 지원을 병행해 국산 AI·보안 모델의 재가공 역량을 확보해야 한다.

주요 용어: 확산 모델(잡음을 단계적으로 제거해 출력을 만드는 생성 방식), 강화학습(정답 품질을 높이도록 보상 신호로 조정하는 학습), sampler distillation(적은 계산 단계로도 결과를 내게 압축하는 기법)

출처: The Decoder