2026年9月29日 22:07
ProvenanceGuardでMCPエージェントの出典検証
Getting the Source Right, Not Just the Fact: Source-Aware Verification for MCP Agents
3行まとめ
- •AI回答の出典取り違えを検出する新手法
- •ProvenanceGuardが根拠と出典を照合
- •医療エージェントの実証実験で高精度確認
詳細
背景
AIエージェントが複数のツールを使って情報を集め回答を生成する場面が増える中、主張が根拠に支持されているかだけでなく「どの情報源に基づくか」を正しく示せているかが新たな課題になっている。Multiverse Computingは、回答中の主張が実際には別の情報源の内容にもかかわらず誤った情報源に帰属される「クロスソース混同」という失敗パターンを指摘した。「アカウント記録によれば返金期間は30日」という主張が、実際にはポリシー文書の記載だったケースなどが例に挙がる。
内容
これを検出するため、ローカルの自然言語推論(NLI)モデルを用いた検証システム「ProvenanceGuard」を提案した。回答を個々の主張に分解し、各主張に対応する情報源を特定したうえで、その情報源が主張を実際に支持しているかを検証し、回答文中で述べられた出典と照合する。矛盾が見つかれば修復ループで回答を書き直す。医療分野のAIエージェントを対象にした281件の実トレース・361件の主張による検証では、ブロックすべき139件の誤帰属主張のうち138件を検出し、判定のF1スコアは0.802、単一の正しい情報源を特定する精度は86%に達した。
今後の影響
患者記録と医学文献など性質の異なる複数の情報源を扱う医療分野をはじめ、金融など機微な情報を扱うAIエージェントでの活用が見込まれる。
なぜ重要か
複数の情報源を扱うAIエージェントの誤帰属を検出する手法で、医療分野の実証実験で高精度な検証性能を確認した。
元記事を読む — Hugging Face Blog