2026年6月27日 16:48
ByteDance、拡散型言語モデルiLLaDA公開
ByteDance's "iLLaDA" is a diffusion language model that keeps up with Qwen2.5
3行まとめ
- •ByteDanceが拡散型言語モデルiLLaDAを発表
- •ベース性能はQwen2.5と同水準の8Bモデル
- •ファインチューニング後は性能差が残る
詳細
背景
拡散モデルはこれまで主に画像・動画生成に活用されてきた技術だが、テキスト生成への応用研究が進んでいる。中国人民大学とByteDanceの研究チームは、拡散モデルの仕組みをテキスト生成に採用した8Bパラメータの言語モデル「iLLaDA」を公開した。ChatGPTに代表される自己回帰型モデルとは根本的に異なるアーキテクチャを採用している点が特徴だ。
内容
iLLaDAはトークンを順番に生成する自己回帰型の手法ではなく、拡散プロセスを通じてテキストを生成する。ベースモデルとしての性能評価では、Alibabaが開発した強力な言語モデルQwen2.5と同水準の結果を示した。一方で、特定タスク向けにファインチューニング（追加学習）を施した後の評価ではQwen2.5に及ばず、実用化に向けた技術的課題が残る結果となった。
今後の課題
拡散型言語モデルが自己回帰型と同等以上の性能を発揮できるかが今後の研究における焦点となる。ベースモデル段階での競争力は示されたが、ファインチューニング後の性能差が現時点での主要な技術的課題として浮き彫りになった。
なぜ重要か
ByteDanceが拡散モデルによるテキスト生成の新手法を実証。8Bパラメータで既存モデルQwen2.5と基本性能で同水準を達成した。
元記事を読む — The Decoder