12時間前
DataFlow-Harnessでパイプライン精度向上
- •AIエージェント、単発コードは得意
- •構造化パイプラインは精度10.9点低下
- •DataFlow-Harnessが精度差を縮小
続きを読む →
#ベンチマーク
30 件の記事
注目7月17日
Moonshot AI、最大級OSSモデルKimi K3公開
- •Moonshot AIがKimi K3公開
- •2.8兆パラメータの世界最大OSS
- •Anthropic・OpenAIに匹敵する性能
続きを読む →
7月9日
Android Bench更新、GeminiがLLMで後れ
- •Android BenchにFable 5等の新LLMを追加
- •GeminiはFable 5などより低スコアと判明
- •開発者もベンチマーク改善に参加できる
7月3日
BridgewaterのQwen3、金融テストでGPT超え
- •Bridgewaterが金融特化Qwen3を共同開発
- •精度84.7%、コスト1/14を達成と主張
- •ただし第三者による検証はなし
続きを読む →
6月30日
Hugging Face、モデルページに全評価結果を掲載
- •Hugging Faceがモデルページに評価結果を統合表示
- •コミュニティ収集の全評価データを一元参照可能に
- •モデル選定の透明性と比較効率が向上
続きを読む →
6月13日
Claude Fable 5、価格2倍で性能差は5.7%
- •Fable 5の性能向上はOpus 4.8比わずか5.7%
- •価格はOpus 4.8の2倍でコスパが課題
- •安全フィルターの迂回コストも加わり割高
注目6月4日
Qwen3.7-Plus発表、テキストでOpus超え
- •AlibabaがQwen3.7-Plusを発表
- •視覚と言語を統合したマルチモーダルAI
- •テキスト性能でOpus-4.6 Max超えと主張
5月16日
新ベンチマーク、Claude MythosとGPT-5.5がブラウザ脆弱性を自律攻撃
- •CMUが新ベンチマークを公開
- •V8エンジンの脆弱性を自律攻撃
- •Mythosが首位だがコスト12倍
続きを読む →
5月12日
OpenAI、Parameter Golfの成果と学びを公開
- •OpenAIのParameter Golfに1000人以上が参加
- •16MB制約下でAI支援のML研究を競った
- •量子化やモデル設計の新知見が多数得られた
4月19日
複雑なグラフでAIの性能が半減、新ベンチマークで判明
- •複雑なグラフでAIの性能が約50%低下
- •RealChart2Codeが14モデルを実データで評価
- •上位商用モデルも複雑化で大幅に精度が落ちる