2026年9月21日 22:44
Multiverse、Ising理論でLLM剪定を最適化
Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem
3行まとめ
- •ブロック削除をIsing問題として定式化
- •50%削除でMMLUが54→76.9に改善
- •Qwen3やMoEにも対応、コード公開
詳細
背景
LLMの運用コストを下げるため、不要なトランスフォーマーブロックを削除する構造的プルーニングが広く使われている。従来手法は各ブロックの重要度を個別に平均場理論的にスコア化し、閾値以下を削除するもので、ブロック同士の相互作用を考慮できず、削除率を上げると精度が大きく劣化する課題があった。
内容
量子コンピューティング企業Multiverse Computingの研究チームは、ブロックの保持・削除を選ぶ問題を物理学のIsingモデル（スピン系のエネルギー最小化問題）として定式化する手法を発表した。損失関数のテイラー展開からHessian行列を求めてブロック間の相互作用を捉え、エネルギーを最小化する組み合わせを古典・量子インスパイアードソルバーで探索する。Llama-3.3-70B-Instructで80ブロック中40個を削除する実験では、MMLUスコアが従来手法の54.0点に対し提案手法は76.9点となり、大幅に精度を維持した。Qwen3-14Bでも同様に10点以上の差で上回った。
今後の影響
MoE構成を含む異種アーキテクチャにも適用できることが確認されており、量子化など他の圧縮技術との組み合わせも視野に入る。実装コードも公開されており、LLM運用コスト削減の実務での検証が期待される。
なぜ重要か
物理学のIsing最適化理論をLLM圧縮に応用し、ブロック削除で精度を保ちながら推論コストを削減する新手法を示した。
元記事を読む — Hugging Face Blog