2026年9月26日 13:00
Google、Android Bench 2.0を公開
3行まとめ
- •GoogleがAndroid Bench 2.0を公開
- •数日規模の長期タスクに刷新
- •最高通過率は約91％から約28％へ
詳細
背景
Googleは、AIモデルやAIエージェントのコーディング能力を測定するベンチマーク（性能を比べるための評価基準）「Android Bench 2.0」を公開した。Android開発を題材に、AIのコード生成の実力を通過率（課題を正しく解けた割合）という数値で比較するための指標である。
内容
Android Bench 2.0では、エンジニアが完了までに数日を要する複雑な長期タスクを課す仕様に刷新した。数日から1週間規模の作業量にあたる開発タスクをAIモデルやエージェントに解かせ、タスクを最後までこなせた割合を通過率として測定する。単発のコード生成にとどまらず、AIの限界を確かめる評価として位置づけられている。
結果
刷新の結果、最高通過率は従来の約91％から約28％に急落した。従来の評価で9割前後に達していた通過率が3割を下回っており、課題の難度と規模が大きくなったことで、上位のAIモデルやエージェントでも最後まで完遂できるケースが大きく減っている。
なぜ重要か
AIコーディングの実力を数日規模の長期タスクで測る評価基準が刷新され、最高通過率は約91％から約28％に下がった。
元記事を読む — ITmedia AI+