騰訊自建Agent基準,結果自家CodeBuddy沒打過Claude Code
BiRun 訊,騰訊做了一套 Agent 基準 WorkBuddy Bench,順手讓自家 CodeBuddy Code 和 Claude Code 正面對打。
260 道眞實工作題分成代碼、Web、辦公、安全四類,7 個模型都用兩套 Harness 各跑一遍。Harness 就是模型外面的 Agent 執行層,負責上下文、工具調用和任務執行。
28 組衕模型對比,Claude Code 贏了 17 組,CodeBuddy 只贏 11 組。代碼更是 7:0,7 個模型換成 Claude Code 後全部漲分。
CodeBuddy 也沒有全面捱打。Web 和辦公都是 4:3 小勝,安全則被 Claude Code 4:3 拿下。
衕一個模型只換 Harness,成績就能差十幾分。所以看 Agent 強不強,已經不能只看底層模型。
但騰訊這份榜單也有明顯不足。260 道題拆成四類後,每類只有 50 到 80 題。社區有人質疑,這麼少的題能不能撐起穩定的模型排名。
另外,GitHub 上也有人嫌只測了兩套 Harness,連 Codex 都沒有。
騰訊
260 道眞實工作題分成代碼、Web、辦公、安全四類,7 個模型都用兩套 Harness 各跑一遍。Harness 就是模型外面的 Agent 執行層,負責上下文、工具調用和任務執行。
28 組衕模型對比,Claude Code 贏了 17 組,CodeBuddy 只贏 11 組。代碼更是 7:0,7 個模型換成 Claude Code 後全部漲分。
CodeBuddy 也沒有全面捱打。Web 和辦公都是 4:3 小勝,安全則被 Claude Code 4:3 拿下。
衕一個模型只換 Harness,成績就能差十幾分。所以看 Agent 強不強,已經不能只看底層模型。
但騰訊這份榜單也有明顯不足。260 道題拆成四類後,每類只有 50 到 80 題。社區有人質疑,這麼少的題能不能撐起穩定的模型排名。
另外,GitHub 上也有人嫌只測了兩套 Harness,連 Codex 都沒有。
騰訊
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊