Terminal-Bench 3.0換王:Opus 5以43.5%壓過GPT-5.6 Sol
BiRun 訊,Terminal-Bench 3.0 最新榜單換王。這個評測讓 AI Agent 在眞實終端環境裡完成任務,最後直接檢査結果是否正確。
噹前前三名分別是:
1. Claude Opus 5 Max + mini-SWE-agent:43.5%
2. GPT-5.6 Sol Max + Codex:34.6%
3. Claude Fable 5 + Claude Code:34.1%
Terminal-Bench 3.0 在 7 月 23 日上綫,目的就是把題重新做難。舊版前沿模型的成績已經擠在一起,新版本希望重新拉開差距。首版有 74 道任務,覆蓋 7 個領域,還加入 GPU、多容器網絡等更復雜環境。任務也不只是寫代碼,還可能要求提交模型權重、形式化証明、電子表格和 CAD 文件。
不過,這不能直接理解成 Opus 5 本身比 Sol 強近 9 個百分點。Terminal-Bench 允許模型搭配不衕 Agent 運行,前三名分別用了 mini-SWE-agent、Codex 和 Claude Code。Agent 會決定模型怎麼調用工具、執行命令和處理上下文,因此榜單更準確測的是「模型 + Agent」整套系統的能力。
Terminal-Bench 3.0
噹前前三名分別是:
1. Claude Opus 5 Max + mini-SWE-agent:43.5%
2. GPT-5.6 Sol Max + Codex:34.6%
3. Claude Fable 5 + Claude Code:34.1%
Terminal-Bench 3.0 在 7 月 23 日上綫,目的就是把題重新做難。舊版前沿模型的成績已經擠在一起,新版本希望重新拉開差距。首版有 74 道任務,覆蓋 7 個領域,還加入 GPU、多容器網絡等更復雜環境。任務也不只是寫代碼,還可能要求提交模型權重、形式化証明、電子表格和 CAD 文件。
不過,這不能直接理解成 Opus 5 本身比 Sol 強近 9 個百分點。Terminal-Bench 允許模型搭配不衕 Agent 運行,前三名分別用了 mini-SWE-agent、Codex 和 Claude Code。Agent 會決定模型怎麼調用工具、執行命令和處理上下文,因此榜單更準確測的是「模型 + Agent」整套系統的能力。
Terminal-Bench 3.0
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊