2026年10月18日 17:49
Taste-Bench、AIの長期判断力の弱さを露呈
AI agents have bad taste in long-term decisions and a new benchmark proves it
3行まとめ
- •新ベンチマークTaste-Benchが登場
- •最高のGPT-5.6 Solでも正答は約6割未満
- •長く考えさせても判断精度は向上せず
詳細
背景
AIエージェントは長時間かかる複雑なタスクを自律的にこなす用途で使われ始めている。こうしたタスクでは、途中でどの方針を選ぶかという戦略的な判断が最終結果を左右するが、その判断の質を測る指標はこれまで十分に整備されていなかった。
内容
新たに公開されたベンチマーク「Taste-Bench」は、長時間タスクの中でAIエージェントがどれだけ適切な戦略的選択をできるかを検証する。最も成績が良かったGPT-5.6 Solでも、単純な二択の質問で正しい道を選べた割合は60%弱にとどまった。二択であればランダムに選んでも50%の正答率となるため、優秀なモデルでも偶然をわずかに上回る程度である。また、推論時間を長くしてモデルにより深く考えさせても、判断の精度は改善しなかったと報告されている。
今後の影響
エージェントに長期的な意思決定を任せる運用では、個々の作業能力が高くても方向性の選択を誤るリスクがある。業務での導入では、重要な分岐点で人間が判断に関与する設計が必要になる。また、Taste-Benchのような評価指標は、今後のモデル開発で長期的な判断力を改善するための基準となる。
なぜ重要か
最高性能のモデルでも長期的な戦略判断は二択で6割弱しか当たらず、エージェントに意思決定を丸ごと任せる運用のリスクを具体的な数字で示している。
元記事を読む — The Decoder