DiffusionGemma: 구글의 언어 생성에 확산 모델을 적용한 기술 보고서

Google에서 Gemma 계열에 확산 모델 원리를 적용한 DiffusionGemma의 기술 보고서를 발표했습니다. 자기회귀 LLM의 아키텍처 orthodoxy에 도전하는 연구 방향이 실-scale 구현으로 이어졌습니다.

간단히 말해

표준 LLM은 왼쪽에서 오른쪽으로 한 번에 하나의 토큰을 생성합니다. 반면 확산 언어 모델은 다르게 작동합니다. 노이즈에서 시작해 전체 출력을 동시에 반복적으로 정제합니다. DiffusionGemma는 Gemma 모델 계열에 이 접근 방식을 적용한 구글의 구현체로, 성능 주장을 비교 가능한 기술 보고서와 함께 발표했습니다.

왜 언어에 확산을 사용해야 하는가 - 그리고 지금인가

자기회귀 언어 모델은 쉽게 overlooked되는 구조적 특징이 있습니다. 생성 속도는 출력 길이와 선형적으로 비례합니다. 모든 토큰은 순차적 forward pass를 필요로 합니다. 2,000토큰 응답의 경우 2,000회의 순차적 연산이 필요합니다. 각 pass 내에서는 병렬 처리가 가능하지만, 토큰 간 순차적 의존성은 고정되어 있습니다.

언어의 확산 모델은 이 의존성을 깨뜨립니다. 전체 출력이 여러 번의 denoising 단계에 걸쳐 병렬로 정제됩니다. 이론적 장점: 규모에 따른 더 빠른 생성과 더 나은 전역 일관성(왼쪽 문맥 편향이 없음, 각 denoising 단계에서 모델이 전체 출력을 보기 때문).

이 연구 방향은 수년간 학계에서 탐구되어 왔지만, 구글의 DiffusionGemma 보고서는 Gemma 모델 계열에 이 접근 방식을 적용했다는 점에서 중요합니다. 알려진 기준선, 확립된 벤치마크 성능, 문서화된 릴리스 프로세스를 갖춘 프로덕션 모델이라는 점에서, 종이Shang만으로 이루어진 데모와 달리 비교가 가능하다는 장점이 있습니다.

기술 보고서의 특징

DiffusionGemma 기술 보고서는 다음을 다룰 것으로 예상됩니다.

성능: DiffusionGemma가 표준 LLM 벤치마크(MMLU, HumanEval 등)에서 토큰 수 대비 자기회귀 Gemma 변종에 비해 어떤 성능을 보이는가? 이 질문이 가장 중요합니다.

생성 속도: 어떤 출력 길이에서 확산 생성이 자기회귀 생성보다 빨라지는가? 교차점은 아키텍처적으로 중요합니다.

긴 시퀀스의 일관성: 확산 언어 모델의 주장된 장점 중 하나. 보고서에서 측정 가능한 개선이 입증되는가?

실패 모드: 확산 언어 모델은 구조화된 출력(코드, JSON, 제약 조건 형식)에서 denoising 불안정성을 일으키는 것으로 잘 알려져 있습니다. 보고서에서 이 문제를 다루는가?

[내부 메커니즘] 확산 언어 모델의 핵심 기술적 과제는 언어가 이산적(유한 어휘의 토큰)이라는 점입니다. 반면 확산 모델은 원래 연속적 공간(픽셀 값)을 위해 설계되었습니다. denoising 프로세스는 이산 토큰에 맞게 조정되어야 하며, 이는 이 분야의 대부분의 아키텍처 복잡성의 원천입니다.

주요 설계 변수:

• 노이즈 스케줄: 훈련 중 노이즈가 얼마나 빠르게 추가/제거되는지가 모델이 denoise하도록 학습하는 내용을 좌우합니다.
• denoising 단계 수: 출력 품질과 생성 속도의 절충점입니다.
• denoising 중 토큰 예측: 최종 토큰 예측 vs. 중간 상태 예측 등 다양한 접근 방식이 존재합니다.

DiffusionGemma의 이러한 차원에서의 아키텍처 선택은 자기회귀 기준선과 경쟁할 수 있는지가 결정될 것입니다.

결론

DiffusionGemma는 프로덕션 전환이 아닌 연구 신호입니다. 기술 보고서는 제품 출시가 아닌 연구 산물입니다. 주목해야 할 점:

1. 벤치마크 동등성: DiffusionGemma가 표준 평가에서 자기회귀 Gemma와 동등한 성능을 보이는가? 동등성이 입증된다면 아키텍처 논쟁이 격화될 것입니다.

2. 생성 속도 교차점: 어떤 문맥 길에서 확산이 자기회귀를 능가하는가? 실용적(4,000토큰 미만)이라면 효율성 논쟁이 구체화됩니다.

3. 구글의 투자 신호: Gemma 통합에 대한 기술 보고서는 이 실험이 실험실 수준이 아님을 시사합니다. Gemma 제품 라인에 후보로 포함될 가능성이 높다는 점에서, 이Commitment는 단일 벤치마크 수치보다 더 중요합니다.