transformers が vLLM でネイティブ速度達成
Native-speed vLLM transformers modeling backend
3行まとめ
- •transformersバックエンドがvLLMでネイティブ速度を実現
- •torch.fxの静的解析でQwen3ベンチも同等性能を確認
- •450以上のモデルを速度損失なく推論基盤で利用可能に
詳細
背景
Hugging Faceのtransformersライブラリは450以上のモデルアーキテクチャをサポートする業界標準の実装を提供している。昨年、vLLMの推論バックエンドとしてtransformersの統合が実現したが、従来のネイティブ実装と比較してパフォーマンスに差があった。今回、torch.fxを活用した最適化により、その差が解消されネイティブ実装と同等の速度が達成された。
仕組み
最適化の核心はtorch.fxによる静的解析で、モデルの計算グラフから最適化可能なパターンを識別し、抽象構文木（AST）を操作してオペレーションを置き換える手法だ。具体的にはMoE（Mixture-of-Experts）モデル向けの演算融合（カーネルフュージョン）、テンソル並列化（TP）とエキスパート並列化（EP）の自動推論、torch.compileおよびCUDAグラフとの完全な互換性が実装された。これによりvLLMのネイティブ実装が持っていた速度面での優位性が解消された。
ベンチマークと今後
Qwen3モデル（4B・32B・235B）を用いたベンチマーク検証では、transformersバックエンドがvLLMのネイティブ実装と同等かそれ以上の性能を示すことが確認された。この統合により、vLLMユーザーはパフォーマンスを犠牲にせず450以上のモデルアーキテクチャを活用できるようになった。今後は線形アテンションを使用するモデルへのサポート拡張も予定されており、詳細な技術解説ブログも執筆中とされている。
なぜ重要か
vLLMにtransformersを使った場合でもネイティブ速度を達成。MLエンジニアが450以上のモデルを選べる高速推論基盤が整った。