2026年8月18日 04:46
同一クラスタでも順序変更で稼働率33pt向上
Same Cluster, 33 Points More Utilization: What Changed Was the Order
3行まとめ
- •同一クラスタで稼働率33pt向上
- •FIFO脱却、優先度順に割当変更
- •ハード追加なしに実質容量を回復
詳細
背景
GPUクラスタでは従来、先着順(FIFO)でジョブを割り当てるスケジューリングが一般的だった。しかしリアルタイム推論は需要ピークに備えて常時GPUを確保する必要があり、使用していない時間帯も他の作業に転用できず稼働率が低下する。また到着順の割当では、優先度の高いジョブが低優先度ジョブの後で待たされる問題もあった。
内容
Dharma-AIは制約認識型のGPUアロケータを開発した。GPUの同時実行数の上限、バッチジョブの連続占有、リアルタイム推論のGPU数変更幅、実行中ジョブの中断不可などを定式化し、優先度と時間減衰重みで評価する目的関数を設計した。リアルタイム需要の未充足には優先度の5〜10倍のペナルティを課しサービスレベルを保証する。高速ヒューリスティックと24時間先の形式最適化を組み合わせ、30〜60分ごとに再計算する。同一ハードウェア構成でFIFOと比較したところ、訓練集約型シナリオで稼働率が53.6%から87.0%に、混合制御シナリオでも51.6%から72.4%に向上し、優先度加重の総価値は最大105%増加した。
今後の影響
ハードウェアを追加することなく、割り当て順序の最適化だけで実質的なGPU容量を回復できることを示した結果であり、需要予測の精度向上と組み合わせることで、GPUクラスタ運用の効率化がさらに進む可能性がある。
なぜ重要か
ハードウェア追加なしでGPU稼働率を最大33ポイント向上させた最適化手法で、大規模インフラ運用の参考になる。
元記事を読む — Hugging Face Blog