2026年10月2日 00:01
Olmo-core 3、大規模MoE訓練基盤を公開
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
3行まとめ
- •Ai2がOlmo-core 3を公開
- •大規模MoEを効率よく訓練できる
- •オープンな訓練基盤として提供
詳細
背景
Ai2（Allen Institute for AI）は、オープンな言語モデル「Olmo」シリーズを開発している。モデルの重みに加えて、訓練データや訓練コードも公開する方針を取っている。MoE（Mixture of Experts：入力に応じて一部の専門家ネットワークだけを使う方式）は、計算量を抑えながらモデルを大きくできる一方、訓練の実装が複雑になりやすい。
内容
Ai2は、大規模なMoEモデルを訓練するためのオープンな訓練基盤「Olmo-core 3」をHugging Faceのブログで公開した。Olmo-core 3は、規模を拡張しやすい設計で、大規模MoEの訓練を支える基盤として位置づけられている。訓練に使うコードがオープンに提供されるため、外部の研究者や開発者も同じ基盤を利用して、MoEモデルの訓練を再現したり改造したりできる。
今後の影響
訓練基盤までオープンになることで、大規模MoEの訓練に必要な実装の知見を、各組織が一から構築せずに活用できる。オープンなモデル開発に取り組む組織にとって、訓練コストと実装の負担を下げる選択肢が増える。
なぜ重要か
大規模MoEの訓練基盤がオープンになり、自前でモデルを訓練する研究者や開発者の実装負担を減らせる。
元記事を読む — Hugging Face Blog