2026年8月9日 19:01
Google、Gemma 4を拡散モデルに改造
Google's DiffusionGemma proves you don't need to train from scratch to build a text diffusion model
3行まとめ
- •GoogleがGemma 4を拡散モデル化
- •訓練予算10%未満で転用に成功
- •推論速度は毎秒1500トークン
詳細
背景
自己回帰型の大規模言語モデルは1トークンずつ順番に生成するため、生成速度に限界がある。拡散モデル型の言語生成手法は複数トークンを並列に生成できるため高速化の手段として研究が進んでいるが、通常は専用モデルをゼロから訓練する必要があり、コストが大きな障壁となっていた。
内容
Google DeepMindは、既存の自己回帰型モデルGemma 4を土台に拡散モデルへ改造した「DiffusionGemma」を開発した。ゼロから訓練する代わりに、元モデルの訓練予算の10%未満のコストで転用に成功した点が特徴である。DiffusionGemmaは256トークンを並列に生成でき、生成速度は毎秒約1500トークンに達する。一方でベンチマーク上の品質は、特に推論タスクにおいて元の自己回帰型モデルに劣ることも確認された。
今後の影響
既存モデルを低コストで拡散モデルに転用できることが示されたことで、高速な言語生成技術の開発コストが下がる可能性がある。ただし推論性能の差が埋まらない限り、実用面では自己回帰型モデルとの使い分けが続くとみられる。
なぜ重要か
既存モデルを低コストで拡散モデル化する手法を示す。高速生成の実用化に向けた技術的進展として注目される。
元記事を読む — The Decoder