2026年7月9日 01:39
Android Bench更新、GeminiがLLMで後れ
Google updates Android Bench with new LLMs, but Gemini still lags behind
3行まとめ
- •Android BenchにFable 5等の新LLMを追加
- •GeminiはFable 5などより低スコアと判明
- •開発者もベンチマーク改善に参加できる
詳細
背景
Googleは、Androidデバイス上でのAI開発に使用するベンチマーク「Android Bench」を大幅に刷新した。このベンチマークはAndroid上で動作するAIエージェントや大規模言語モデル（LLM）の能力を標準化された方法で評価する開発者向けツールであり、モバイルAIアプリ開発においてモデル選定の指標として機能している。Googleは開発者コミュニティからのフィードバックをもとにベンチマーク自体を継続的に改善していく方針を示している。
内容
今回の刷新では、AnthropicのClaude Fable 5を含む複数の新しいLLMとAIエージェントが評価対象として追加され、開発者がAndroid環境でより多くのモデルを比較評価できるようになった。注目すべき点として、Google自社が開発するGeminiは今回追加されたモデルを含む比較においても依然として後れを取っており、自社ベンチマーク上でもトップパフォーマーの位置に立てていない結果が示された。
今後の展開
GoogleはAndroid Benchの設計改善に開発者の参加を促しており、評価指標をオープンな形で整備する方針を採っている。ベンチマークの拡充により、AndroidアプリにAIを組み込む際のモデル比較の透明性が高まり、開発者がより根拠のあるモデル選定を行える環境が整う。
なぜ重要か
AndroidアプリにAIを組み込む開発者がモデル選定の参考にできるベンチマークが拡充された。Geminiの相対的な低評価は開発時のモデル採用判断に影響する。
元記事を読む — Ars Technica AI