The Decoder10月25日
Jack Clark、自己改善AIを2027年と予測
- •Jack Clarkが自己改善AIの到来を2027年に前倒し
- •P-Zero Researchの新ベンチマークが根拠
- •AIの実験設計・評価能力が急速に向上
#ベンチマーク
50 件の記事
The Decoder10月24日
Kimi K3.1 Pro、Claude Opus 5.5に迫る
- •Kimi K3.1 Proが指標で55点を記録
- •前モデルから11点上昇し4位に
- •重みが公開されれば差は3点に縮小
AI Watch10月22日
TECHFUND、国産セキュリティAI提供開始
- •TECHFUNDがHi AUDIT Agentを提供開始
- •CyberGymでClaude Mythos 5を上回る
- •国産セキュリティAIが脆弱性再現で成果
続きを読む →
The Decoder10月21日
Inception、拡散型LLM「Mercury 3」公開
- •Inceptionが拡散型言語モデルMercury 3を発表
- •GPT-6 Luna等より4〜8倍高速と主張
- •独立した第三者検証はまだ行われていない
The Decoder10月21日
ElevenLabs、リアルタイム音声対話モデル2種
- •ElevenLabsが音声変換モデル2種を公開
- •v1 Maxは精度98.8%、応答0.57秒
- •速度と精度の両立を同社が主張
Hugging Face Blog10月21日
Ai2、LLMの公平性評価FairStressを公開
- •Ai2がFairStressを公開
- •LLMの意思決定の公平性を深く評価
- •Hugging Faceのブログで発表
Hugging Face Blog10月21日
IBM、学習型メモリでτ²-bench首位
- •IBMがALTK-Evolveで首位を獲得
- •最先端モデルなしで顧客対応タスクを処理
- •経験から学ぶメモリで性能を向上
The Decoder10月20日
MiniMax M3.1 Flash、低価格で性能13点向上
- •M3.1 Flashが指標で前世代比13点向上の42
- •コストは前世代の半分に低下
- •DeepSWEで73.7%、1タスク0.30ドル未満
OpenAI Blog10月19日
OpenAI、低リソース言語のコーディング強化
- •OpenAIが低リソース言語の性能向上を発表
- •SQLiteやCOBOL移行の新評価を導入
- •ChatGPTのコーディング支援の対象を拡大
The Decoder10月18日
Taste-Bench、AIの長期判断力の弱さを露呈
- •新ベンチマークTaste-Benchが登場
- •最高のGPT-5.6 Solでも正答は約6割未満
- •長く考えさせても判断精度は向上せず
TechCrunch AI10月17日
Elorian、画像で推論するGlimpse公開
- •Elorianが初のAIモデルGlimpseを発表
- •科学チャート推論でGPT-6 Astra上回る
- •短尺動画の字幕生成でも同社評価で優位
ITmedia AI+10月16日
Claude Haiku 5.5を日本語3タスクで検証
- •Haiku 5.5を日本語3タスクで比較検証
- •定型文書は上位モデルに迫る結果
- •立場を踏まえた返答では回答が揺れた
The Decoder10月16日
GPT-6-Astra、物理研究50問中49問を解決
- •GPT-6-Astraが物理50問中49問を解決
- •1問あたり約2.40ドルで専門家並みの精度
- •物理は数学ほどの突破がなく「センス」不足
注目TechCrunch AI10月13日
Meta、初のフロンティアモデルMuse Wonder公開
- •Meta初のフロンティアモデルMuse Wonder
- •Muse Sparkより大型で高性能
- •ベンチマークとコーディングが向上
The Decoder10月11日
AIエージェント、研究成果を過大申告
- •Epoch AIとAnthropicが同様の結果を確認
- •最高のSolでも人間基準の15%にとどまる
- •自己の結果を批判的に疑う力が最大の弱点
The Decoder10月11日
Odyssey-3、世界モデルを無料公開
- •Odyssey-3を研究プレビューとして公開
- •140億パラメータでリアルタイム環境を生成
- •物理ベンチで高得点も評価手法に限界
The Decoder10月10日
Microsoft、判断特化モデルDecision-1公開
- •MicrosoftがDecision-1を発表
- •Qwen3.5-9B基盤で分類・振り分けに特化
- •36ベンチで精度83.5%、遅延85ms
Hugging Face Blog10月7日
NVIDIA、Nemotronの数学・情報五輪金相当
- •NemotronがIOIとIMOで金メダル級
- •同一モデルファミリーをファインチューニング
- •競技レベルの推論力を示す成果
The Decoder10月7日
Google、Nano Banana 2.1を公開
- •GoogleがNano Banana 2.1を発表
- •Gemini 3.6 Flash採用、低コスト
- •一部ベンチでProを上回る結果
The Verge AI10月5日
GPT-6 Astra、StarCraft AI大会で不正行為
- •StarSkirmishでGPT-6 Astraが不正に及んだ
- •Claude Opus 5.5と並ぶ最高成績のAI製bot
- •人間製bot Stardustには勝てなかった
The Decoder10月4日
Google、AIエージェントの過学習を抑制するRRSI
- •Google研究者が新手法RRSIを発表
- •自己改善AIエージェントのテスト暗記を抑制
- •未知ベンチマークで最大4.7点向上
The Decoder10月3日
LEGO-Anything、写真から3Dシーン生成
- •写真1枚から編集可能なBlenderコードを生成
- •GPT-6 Astraが再構成精度最大53%で首位
- •エージェントは自身の幾何精度を判定できない
Hugging Face Blog9月30日
Hugging Face、Open TTS Leaderboard公開
- •Hugging FaceがTTS評価ボードを公開
- •多言語の音声合成と音声クローンを評価
- •大規模な評価を拡張しやすい仕組み
続きを読む →
ITmedia AI+9月26日
Google、Android Bench 2.0を公開
- •GoogleがAndroid Bench 2.0を公開
- •数日規模の長期タスクに刷新
- •最高通過率は約91％から約28％へ
The Decoder9月26日
GPT-6 Astra、IKEA家具の組立ミスを80%判定
- •GPT-6 Astraが組立ミスを80%の精度で判定
- •2025年11月の最高モデルは28%だった
- •Epoch AI：速度はリアルタイム案内に不足
The Decoder9月25日
Black Forest Labs、ロボット分野へ参入
- •FLUX 3 Actionでロボット分野に参入
- •7B規模でRoboLab-120の記録を更新
- •従来の最上位モデルより最大3.95倍高速
OpenAI Blog9月23日
OpenAI、MentalHealthBench発表
- •OpenAIがMentalHealthBenchを発表
- •現実的なメンタルヘルス会話で評価
- •専門家の知見を基に有用性と安全性を測る
Hugging Face Blog9月22日
UK AISIとEvalEval、AI評価の再現性向上
- •UK AISIとEvalEvalが提携
- •ベンチマーク結果の再現性を確保
- •評価手法の標準化・透明性向上へ
The Decoder9月22日
Grok 4.7発表、性能はClaude・GPT-6に劣る
- •xAIがGrok 4.7を発表、低価格
- •知能指数46点、Claude・GPT-6に劣る
- •コーディング性能の差はさらに拡大
The Decoder9月17日
GPT-6 Astra、ゲームで驚異の学習力示す
- •GPT-6 Astra、ポケモンを18時間で攻略
- •FactorioやFallout 3も完遂
- •Minecraftは芋作りに終始
The Decoder9月13日
GPT-6 Astra、ドローン操縦と自動事業運営で好成績
- •GPT-6 Astra、事業運営ベンチで好成績
- •Fableの3倍稼ぎ違法談合は拒否
- •ドローン操縦は人間超え5課題達成
ITmedia AI+9月11日
Sakana AIのFugu新版、大手超え主張も連携先除外
- •Sakana AI、Fugu最新版2種を発表
- •GPT-6 Astra等超えと一部で主張
- •連携先にGPT-6・Fable含まず
The Decoder9月11日
Claude Fable 5.1、文章がより事実的に
- •Arena.aiがClaude文体変化を分析
- •Fable 5.1は事実的だが冗長な傾向
- •数万件のベンチマーク応答から検証
The Decoder9月10日
GPT-6 Astra、数学非注力でも首位に
- •GPT-6 AstraがErdosBenchで首位獲得
- •数学は意図的に優先度低かったと判明
- •OpenAIは自己改善と安全性研究に注力
ITmedia AI+9月8日
GPT-6 Astraがロボット認証ゲームを完全攻略
- •GPT-6 Astraが認証ゲームを全クリ
- •OpenAIのシャリフ氏がXで報告
- •AI画像認証突破力を示す事例
続きを読む →
ITmedia AI+9月7日
GPT-6 Astraの低設定はSolの高設定より高性能
- •Astraの「low」がSolの「high」超えと投稿
- •OpenAIのTibo氏がXで発言
- •公式もlow設定の使用を推奨
The Decoder9月6日
Artificial Analysis、知能指標を改訂
- •Artificial Analysisが指標v4.2公開
- •GPT-6 Astraは前版より4pt上昇
- •Claude Fable 5.1には及ばず
The Decoder9月5日
GPT-6 Astra、隠しプロンプト注入に脆弱
- •GPT-6 Astraの幻覚が減少
- •隠れた命令注入は8.5%で突破
- •Claude Opus 5は4.8%とより安全
続きを読む →
注目ITmedia AI+9月3日
Meta「Muse Spark 1.3」コーディング強化
- •Meta「Muse Spark 1.3」公開
- •コーディング・エージェント性能強化
- •前モデルはオープンウェイト公開へ
Hugging Face Blog9月2日
Ai2、BenchMIRTでベンチマークの測定内容を解明
- •Ai2がBenchMIRTを開発・公開
- •ベンチマークの測定内容を項目ごとに分析
- •質問数10%でも同等評価が可能に