Ai2、BenchMIRTでベンチマークの測定内容を解明

LLMのベンチマークは、BBQやWildJailbreakのように、本来測定したい能力(バイアスや安全性など)に加えて推論能力など別の要素が混在し、単一のスコアだけでは何を測定しているか不明瞭になっているという課題があった。Ai2はこの問題に取り組むため、新たな監査手法「BenchMIRT」を2026年9月1日に発表した。

BenchMIRTは心理測定学の項目応答理論(IRT)を多次元に拡張した手法(MIRT)を採用し、100種類のLLMと34,000件以上の質問データで訓練された。モデルの能力をベンチマーク単位ではなく個々の質問単位で分析し、難易度や識別力、モデルが持つ複数の潜在的能力を同時に推定する。分析の結果、多くのベンチマークの背後に「安全性」と「一般推論」という2つの支配的な次元があることが判明し、WMDPやHarmBenchの著作権関連項目、BBQなどが、本来の測定意図以上に推論能力に依存していることが明らかになった。

BenchMIRTを使えば、収録する質問数を全体の10%程度に絞り込んでも、ほぼ同等の能力評価が可能だった。より焦点を絞った効率的なベンチマーク設計や評価コストの削減、測定内容の透明性向上につながる一方、悪用すれば脆弱なベンチマークを意図的に作成できるリスクも指摘されている。