騰訊自建Agent基準,結果自家CodeBuddy沒打過Claude Code

BiRun 訊,騰訊做了一套 Agent 基準 WorkBuddy Bench,順手讓自家 CodeBuddy Code 和 Claude Code 正面對打。

260 道眞實工作題分成代碼、Web、辦公、安全四類,7 個模型都用兩套 Harness 各跑一遍。Harness 就是模型外面的 Agent 執行層,負責上下文、工具調用和任務執行。

28 組衕模型對比,Claude Code 贏了 17 組,CodeBuddy 只贏 11 組。代碼更是 7:0,7 個模型換成 Claude Code 後全部漲分。

CodeBuddy 也沒有全面捱打。Web 和辦公都是 4:3 小勝,安全則被 Claude Code 4:3 拿下。

衕一個模型只換 Harness,成績就能差十幾分。所以看 Agent 強不強,已經不能只看底層模型。

但騰訊這份榜單也有明顯不足。260 道題拆成四類後,每類只有 50 到 80 題。社區有人質疑,這麼少的題能不能撐起穩定的模型排名。

另外,GitHub 上也有人嫌只測了兩套 Harness,連 Codex 都沒有。

騰訊
你怎麼看這條消息?來投第一票

評論

0/500
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊