2026年9月16日 01:00
IBM、AIエージェントの再現性測定ツール公開
Your Agent Aced the Task. Will It Do It Again?
3行まとめ
- •IBM、エージェントの再現性測定ツール公開
- •平均正解率高くても再現失敗が判明
- •ガイドライン注入で一貫性ギャップ半減
詳細
背景
AIエージェントの評価は複数回試行の平均正解率(Mean@k)が使われることが多いが、これは同一タスクを繰り返した際の再現性のばらつきを隠してしまう。IBM Researchの検証では、平均正解率77.4%のReActエージェントが、同じタスクを5回連続で成功できた割合はわずか53.0%で、24.4ポイントの「一貫性ギャップ」が存在した。
内容
IBM Researchはオープンソースツールキット「ALTK-Evolve」に一貫性ガイドライン機能を追加した。まず「Consistency Analyzer」が記録済みの実行過程の各判断ステップをk=5で並列に再サンプリングし、結果がぶれやすい箇所を診断する。正解データや環境の再現実行は不要で、追加API呼び出し1回で済む。ぶれが検出されたステップには「部分文字列カウントでなく行アンカー正規表現を使う」といった自然言語のガイドラインを自動生成し、推論時に注入する。
今後の影響
一貫性ギャップは24.4ポイントから12.0ポイントに縮小し、平均正解率を保ったまま5回連続成功率は53.0%から69.0%に改善した。類似タスクへの汎化効果も確認され13.0ポイント向上。金融・法務など信頼性が重視される業務でエージェントを本番運用する組織にとって有力な品質担保手段となる。
なぜ重要か
同一タスクの再現失敗を検知・改善するIBMの手法。信頼性が問われる業務エージェント開発に有用。
元記事を読む — Hugging Face Blog