2026年10月24日 18:21
コーディングAIの外装は高コストで性能同等
Fancy harnesses make coding agents more expensive but not better, study finds
3行まとめ
- •ハーネスを替えても合格率はほぼ不変
- •タスク当たりコストは最大3倍に増加
- •原因は毎ステップ再送のシステムプロンプト
詳細
背景
コーディングエージェントは、LLM（大規模言語モデル）を包むハーネス（実行基盤・制御ツール群）の上で動作する。Claude Code、OpenCode、mini-SWE-agentなど多様なハーネスが登場しており、機能が豊富なものほど性能も高いと受け取られやすい状況にある。今回の研究は、その前提が成り立つかを統制された条件で検証したものである。
内容
研究では、Claude Code、OpenCode、mini-SWE-agentといったハーネスを切り替えて比較した。その結果、ハーネスの違いによる合格率の差は、同一設定を再実行した際に生じるばらつきを大きく上回るものではなかった。つまり、凝ったハーネスに替えても成功率はほとんど改善しない。一方で、1タスク当たりのコストはハーネスによって最大3倍に達した。主な要因は、各ステップごとに毎回再送されるシステムプロンプトであり、プロンプトが長いハーネスほどトークン消費が膨らむ構造になっている。
今後の影響
コーディングエージェントを業務に導入する企業にとって、ツール選定では機能の多さよりもコスト構造の確認が判断材料になる。シンプルなハーネスでも同水準の合格率を得られるため、運用コストを抑えたい場合はシステムプロンプトの長さやトークン消費量を比較対象に含める必要がある。
なぜ重要か
コーディングエージェント選定で、高機能なハーネスが成功率を上げずコストだけを最大3倍にする点が示された。導入時の費用対効果の判断材料になる。
元記事を読む — The Decoder