2026年8月13日 09:00
Hugging FaceがICML論文2,226本を検証
What We Learned by Reproducing 2,200 papers from ICML
3行まとめ
- •ICML論文2,226本をAIで再現検証
- •参加者1,221人、19日間で実施
- •23%の論文で反証・異議判明
詳細
背景
AI学会への投稿数は急増しており、ICML 2026は23,918件の投稿から6,352本を採択、査読負荷は前年の倍に達した。査読だけでは論文の主張の正確性を十分に検証しきれない状況が生まれている。Hugging Faceはこの課題に対し、コーディングエージェントを用いて論文の主張を大規模に再現するハッカソンを企画した。
内容
2026年7月15日から8月2日までの19日間、1,221人が参加し、採択論文の34%にあたる2,226本を対象に検証を実施した。ClaudeやCodexなどのコーディングエージェントで各論文の主要な主張を検証し、6,816件のログブックと35,908件の検証済み主張を生成した。結果は「検証済み」「反証」「試験的規模」「不明確」に自動分類された。51%の論文で少なくとも1つの主張が独立検証され、266本は完全再現、632本は部分的再現に成功した一方、23%にあたる496本で主張の反証や異議が確認され、49本は全主張が反証された。
今後の影響
ページング論文の理論値と実測値の乖離や、蒸留学習論文でのKL発散の実装誤りなど、具体的な反証事例も明らかになった。全ログブックと判定結果、実行トレースは公開されており、AI研究の再現性向上と査読プロセスの補完に向けた材料となる。
なぜ重要か
AIエージェントで論文の主張を大規模検証し、査読を補う新手法と研究再現性の課題を示した。
元記事を読む — Hugging Face Blog