GPT-6-Astra、物理研究50問中49問を解決

背景

TheoPhysEvalは、未発表の理論物理の計算問題50問で構成されるベンチマークである。AIエージェントが研究レベルの物理問題をどこまで自律的に扱えるかを測る目的で用意された。数学の分野ではAIによる大きな成果が出ているが、物理では同様の突破はまだ起きていないとされる。

GPT-6-Astraはこの50問のうち49問を、第一線の専門家と同等の精度で解いた。1問あたりのコストは約2.40ドルである。AIが失敗したように見えた問題の中には、専門家が作成した参照解答のほうに誤りが含まれていた例もあった。

研究者の見解

研究者らは、物理で数学のような突破が起きていない理由として、エージェントに研究の方向性を見極める「センス」が欠けている点を挙げる。一方で、トップレベルの自律的なAI研究が近く実現し得るとも考えている。すでに若手物理学者の育成や働き方に影響が出始めていると見ている。