2026年8月10日 19:05
Multiverse Computing、知識蒸留を効率化
Making Knowledge Distillation Cheap Enough to Run at Scale
3行まとめ
- •Multiverse Computingが新手法発表
- •VRAM使用量を最大15.6倍削減
- •モデル圧縮のコストを大幅低減
詳細
背景
大規模言語モデルを軽量なモデルに圧縮する知識蒸留は、教師モデルと学生モデルを同時にメモリ上に保持する必要があり、大規模化に伴うメモリコストが実用化の障壁となっていた。語彙サイズ201,088トークン・系列長32Kの設定では、従来手法で250GBものVRAMが必要になるケースもあった。
内容
Multiverse Computingは8月10日、知識蒸留の学習効率を高める2つの技術を発表した。ひとつは教師モデルの上位100件の確度スコアを事前に一度だけ抽出しキャッシュする「オフライン蒸留」。もうひとつは、語彙サイズ×系列長の巨大な行列を構築していた損失計算を小分けに処理する「融合チャンク化KLロス」で、メモリ効率を大幅に改善する。
今後の影響
ベンチマークでは、32Kトークン処理時のメモリ使用量を85.2GiBから5.45GiBへと15.6倍削減。GPT-OSS 20Bの蒸留では使用ノード数を4台から1台に減らしつつ、1ステップの処理時間を57秒から12.23秒へと約5倍高速化した。これにより研究者や企業は、モデル圧縮の実験をより低コストかつ反復的に行えるようになる。
なぜ重要か
知識蒸留の学習に必要なVRAMを最大15.6倍削減する新手法。モデル圧縮のコストと時間を大幅に短縮できる。
元記事を読む — Hugging Face Blog