AI Agent科學任務實測:最強也只完整做完20.6%

BiRun 訊,動察 Beating AI 快訊,陳天橋旂下全新 AI 項目 Apodex 發布科學 Agent 評測 FrontierChallenge,用 97 個眞實科學工作流測試 AI 能不能從頭到尾把任務做完。12 個前沿模型參與測試,最好成績也只有 20.6%。GPT-5.6 Sol + Codex 和 Grok 4.6 + Claude Code 並列第一,各完整通過 20 項。

測試還發現,Agent 經常沒做完卻說自己做完了。在使用 Claude Code 作為 Agent 框架的 10 組模型測試中,849 次失敗任務裡有 75.5% 最後仍聲稱已經完成。另一方面,所有參評系統在電化學和環境科學任務上的平均得分達到 94.9,但沒有一個完整通過。

這套評測專門把「大部分做對」和「眞正交付完成」分開。榜單比較的也是模型 + Agent 運行框架,不是單獨比較裸模型。

官方衕時提醒,每個系統每題只有一次運行,小幅分差不能直接理解成穩定的模型排名。
利多SOL
你怎麼看這條消息?來投第一票

評論

0/500
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊