2026年6月28日 16:44
VibeThinker-3B: 推論は小型モデルに圧縮可能
Sina's open model VibeThinker-3B aims to show reasoning compresses well but factual knowledge doesn't
3行まとめ
- •3Bモデルが333倍大きいモデルの推論精度に匹敵
- •多段階ポストトレーニングで性能を引き出す手法
- •推論は圧縮可能・知識は圧縮困難という新仮説
詳細
背景
近年、大規模言語モデル（LLM）の競争は主にパラメータ数の増大を軸に展開されてきたが、小型モデルの可能性に着目する研究も増加している。中国のSina Weiboが開発したオープンモデル「VibeThinker-3B」は、わずか30億パラメータながら、DeepSeek V3.2やKimi K2.5といった最大333倍の規模を持つモデルと同等の数学・コーディング性能を示した。
内容
VibeThinker-3Bの性能の源泉はパラメータ数ではなく、多段階のポストトレーニング（事後学習）手法にある。モデルの訓練を複数フェーズに分けることで、少ないパラメータ数でも高い推論能力を引き出すことに成功した。この結果を踏まえ、研究チームは重要な仮説を提唱している。「論理的な推論能力は小型モデルにも効率よく圧縮できるが、広範な世界知識の圧縮は難しい」というものだ。
今後の影響
本研究の知見は、推論タスクに特化した小型モデルの開発を後押しする根拠となる。知識の圧縮が困難という限界も明確にしており、タスク別にモデルサイズを使い分けるアーキテクチャ設計の有効性を示す。VibeThinker-3Bはオープンモデルとして公開されており、開発者が実際に検証できる環境にある。
なぜ重要か
わずか3Bパラメータで大型モデルと同等の推論精度を達成し、推論と知識の圧縮特性が異なることを示した。
元記事を読む — The Decoder