2026年5月27日 09:00
Hugging Face、TRLで1兆パラ重み同期を高速化
Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
3行まとめ
- •TRLが1兆パラ規模の重み同期に対応
- •Hub Bucket経由で差分のみを転送
- •強化学習の分散訓練を効率化
詳細
背景
Hugging Faceが提供する強化学習ライブラリTRLでは、訓練中のモデル重みを推論ワーカーへ同期する処理が大規模モデルでボトルネックになっていた。特にMoE構造を含む1兆パラメータ級のモデルでは、毎ステップで全重みを転送する従来方式は帯域・時間ともに非現実的だった。
内容
今回導入されたDelta Weight Sync機能は、前回同期時からの差分（デルタ）のみを抽出してHub Bucketと呼ばれる中継ストレージ経由で配布する。これにより通信量を大幅に削減し、Trainer側とvLLM等の推論側を疎結合のまま高速に同期できる。実装はTRL本体に統合され、既存の分散訓練フローに組み込みやすい設計となっている。
今後の影響
超大規模モデルのRLHFやRLAIF訓練がより手元のインフラで現実的になり、Hugging Face Hubを通信ハブとして活用する分散学習パターンが広がる見込み。
なぜ重要か
超大規模モデルのRL訓練を現実的にする基盤技術で、Hugging Faceエコシステムの拡張方向を示す。
元記事を読む — Hugging Face Blog