#モデル評価
11 件の記事
OpenAI Blog7月8日
OpenAI、SWE-Bench Proの信頼性問題を報告
- •OpenAI、SWE-Bench Proの問題を指摘
- •AIモデル評価の信頼性・精度に懸念
- •コーディングベンチマークの課題が浮上
ITmedia AI+7月3日
Claude Fable 5の性能、停止前後を2社が比較
- •Fable 5の性能が停止前後で変化か調査
- •米AI企業2社が独立した検証結果を報告
- •停止に伴う性能低下の有無が焦点
Hugging Face Blog6月30日
Hugging Face、モデルページに全評価結果を掲載
- •Hugging Faceがモデルページに評価結果を統合表示
- •コミュニティ収集の全評価データを一元参照可能に
- •モデル選定の透明性と比較効率が向上
続きを読む →
TechCrunch AI6月26日
Patronus AI、AIエージェントテストに50M調達
- •Patronus AIが5000万ドルを調達
- •AIエージェント専用の仮想テスト環境を開発
- •元Meta AI研究者が設立したスタートアップ
OpenAI Blog6月23日
OpenAIが高度AIの共通基準策定を支援
- •OpenAIが高度AIの評価・安全基準策定を支援
- •Appia財団通じ世界規模の協力体制を推進
- •業界横断の共通フレームワーク整備に取り組む
OpenAI Blog6月16日
OpenAIのDeployment Simulation発表
- •OpenAIがリリース前AI挙動予測手法を発表
- •実際の会話データでデプロイをシミュレート
- •安全性と評価精度の向上が目的
Hugging Face Blog4月21日
TII UAE、Arabic LLM評価「QIMMA」公開
- •アラビア語LLM向け品質重視のランキング公開
- •TII UAEがHuggingFaceで評価基盤を提供
- •アラビア語AI開発の標準化を目指す取り組み