2026年8月26日 00:14
IBM Granite 4.2公開、推論に特化
Granite 4.2 LLMs: How They're Built
3行まとめ
- •IBM初の推論特化LLM Granite 4.2公開
- •3B/8B/30Bを15兆トークンで学習
- •Apache2.0で商用利用も可能に
詳細
概要
IBMは推論能力に重点を置いた新モデルファミリーGranite 4.2を発表した。3B・8B・30Bの3サイズで構成され、いずれも約15兆トークンを用いてゼロから事前学習された。ライセンスはApache 2.0で、商用利用を含め自由に利用できる。
技術的特徴
アーキテクチャはデコーダー専用の密結合トランスフォーマーで、グループ化クエリアテンション（40注意ヘッド・8KVヘッド）やRoPE、SwiGLU、RMSNormを採用する。コンテキスト長は5段階の拡張戦略により最大512Kトークンまで対応し、131Kのシーケンス長を実運用でサポートする。学習は事前学習後にSFT、数学・コード・推論向けの基礎RL、8B/30Bには開発・ターミナル操作・検索を対象としたエージェントRL、最後にRLHFを行う多段階構成をとる。タスクの難易度に応じ思考モードと非思考モードを切り替えられる点も特徴。
性能と用途
30BモデルはAIME25で89.17%、MMLU-Proで77.60%、SWE Bench Proで33.29%を記録し、ソフトウェア開発やターミナル操作を伴うエージェント用途を主眼に設計されている。FP8やGGUFなど複数の量子化形式も提供され、企業での実運用を見据えた構成となっている。
なぜ重要か
IBM初の推論特化型LLMファミリーで、Apache2.0公開のオープンソースがエージェント設計の参考になる。
元記事を読む — Hugging Face Blog