2026年8月16日 22:00
DeepSeek V4 Flash、実タスクで伸び悩み
DeepSeek's top-ranked V4 Flash stumbles on real agent tasks as its prices surge
3行まとめ
- •V4 Flashが実タスクで低成績
- •Composioが8種ハーネスで検証
- •好評の裏で価格急騰も判明
詳細
背景
DeepSeekの新モデル「V4 Flash」は各種ベンチマークで首位を獲得し、開発者コミュニティでは「total monster」と称されるほど高く評価されてきた。低価格と高性能を両立するモデルとして注目を集め、多くの開発者がエージェント用途での採用を検討する状況が生まれていた。
内容
しかし、AIエージェント開発企業Composioが実施した実践的な検証では異なる結果が示された。Claude Code、Codex、OpenCodeを含む8種類のエージェントハーネス上でV4 Flashを動かし、Gmail、GitHub、Slack、Google Sheetsなど実際のツールを使う30種類の複雑な多段階タスクに挑戦させたところ、合計240回の試行のうち成功したのは129回、成功率は53.8%にとどまった。全ハーネスで一貫して成功した課題はわずか6件にすぎず、ベンチマーク上の高評価と実務での安定性には大きな差があることが浮き彫りになった。
今後の影響
加えて、V4 Flashの利用価格も上昇しており、低コストを理由に採用を検討していた開発者にとっては判断材料が増える形となった。リーダーボードの順位だけでなく、実際の業務ツール連携における再現性やコストを踏まえた評価が今後より重視されそうだ。
なぜ重要か
リーダーボード首位でも実務エージェント成功率は53.8%に留まり、選定基準の見直しを促す。
元記事を読む — VentureBeat AI