Weka、KVキャッシュ全保存の新ストレージ
Stop adding more GPUs: Weka's new storage platform reduces load by caching 100% of an AI model's pre-calculated tokens
3行まとめ
- •Wekaが新ストレージ基盤を発表
- •AIモデルの計算済みトークン全保存
- •GPU増設せず推論負荷を軽減
詳細
背景
本番稼働中のAIシステムでは、GPUメモリが最も高価でありながら最も枯渇しやすいリソースになっている。長いコンテキストウィンドウや複数ターンの会話が続くと、AIモデルは既に処理済みの情報を繰り返し再計算する必要があり、その都度GPUメモリと計算資源を消費してしまう。本来であれば追加のユーザー対応や新規の応答生成に使えるはずのリソースが、この重複した再計算作業に奪われており、AI企業のインフラコスト増大の要因となっている。
内容
ストレージ企業Wekaは、GPUメモリの増設だけを解決策とみなすのではなく、より安価なストレージ技術でメモリを拡張するアプローチを提案している。新たに発表したストレージプラットフォームは、AIモデルが一度計算したトークン、いわゆるKVキャッシュを高速なフラッシュストレージ上に保存し、これを100%キャッシュすることで同じ計算の繰り返しを回避する仕組みを持つ。これにより、GPUを追加購入することなく推論時の処理負荷を軽減できるとWekaは説明している。
今後の影響
AI推論にかかるコストの高騰が業界全体の課題となる中、GPUメモリ以外のリソースを活用してボトルネックを解消する今回のような手法は、企業のインフラ投資における選択肢を広げる可能性がある。ただし実際の効果は各企業のワークロード特性やモデル構成に左右されるため、導入企業による実運用での検証結果が今後の焦点になるとみられる。
なぜ重要か
GPUメモリ不足というAI推論コストの課題に、ストレージ側で対処する新手法を提示している。