2026年5月10日 18:25
METR、Claude Mythosの評価に苦戦
METR says it can barely measure Claude Mythos, Palo Alto Networks warns of autonomous AI attackers
3行まとめ
- •METRが新Claude評価に限界を露呈
- •228タスク中5つしか該当能力測定不可
- •AI攻撃は25分で情報窃取に到達
詳細
背景
AI評価機関METRが、Anthropicの新モデルClaude Mythos Previewの能力測定で深刻な課題に直面している。既存のテストスイート228タスクのうち、わずか5つしか同モデルの能力レンジをカバーできていない。モデルの進化速度に評価手法の整備が追いついていない実態が浮き彫りになった。
内容
同時にPalo Alto Networksは、フロンティアモデルが自律的に脆弱性を連鎖的に悪用し、初期侵入からデータ窃取までを25分に短縮していると報告した。AIが攻撃者として実用レベルに達しつつあることを示すデータで、サイバーセキュリティ業界に警鐘を鳴らしている。
今後の影響
評価手法がモデルの進化に追いつかない状況は、安全性検証の信頼性そのものを揺るがす。AI能力の客観評価が困難になれば、企業や規制当局がリスクを正しく把握できなくなり、防御側の対応も後手に回る懸念がある。
なぜ重要か
AI評価手法の限界と自律的攻撃の現実化は、企業のAI導入時のリスク管理判断に直結する重要情報。
元記事を読む — The Decoder