2026年8月19日 22:48
Liquid AI、LFM2.5の4bit量子化版公開
LFM2.5 Q4\_0 Checkpoints from Quantization-Aware Distillation
3行まとめ
- •Liquid AIがLFM2.5をQ4量子化
- •QADで精度97%回復、高速化も
- •エッジ端末向け軽量モデルに対応
詳細
背景
Liquid AIは、エッジデバイス向け軽量言語モデル「LFM2.5」シリーズ(230M/350M/1.2B/2.6Bの4サイズ)について、4ビット量子化フォーマット「Q4_0」のチェックポイントをHugging Face上で公開した。従来の量子化手法では精度低下が課題となっており、スマートフォンやRaspberry Piなど計算資源が限られる環境での実用性が制約されていた。
内容
採用された「Quantization-Aware Distillation(QAD)」は、高精度な教師モデルから量子化済みの学生モデルへ知識を移転する手法で、事後的に量子化する従来手法と異なり訓練段階から量子化を織り込むことで品質低下を最小化する。この技術で、BF16基準からの精度低下の約97%を回復したという。速度面でも、230M/350Mモデルは同等品質のQ5_K_Mと比べ4〜33%高速化、1.2B/2.6BモデルはQ4_K_Mと比べ3〜14%高速化した。
今後の影響
MacBook Pro、Raspberry Pi、スマートフォンでの実測データが示された。GPQAやMMLU-Pro、IFEvalなど推論・命令追従・ツール利用のベンチマークで検証済みで、llama.cppなどGGUF対応ランタイムで利用できる。エッジAI開発者にとってモデル選定の選択肢が広がる。
なぜ重要か
エッジ端末向け軽量AIモデルで、精度をほぼ維持したまま4bit量子化による省メモリ・高速推論を実現する技術動向を示す。
元記事を読む — Hugging Face Blog