离真正替程序员还远：Agent进企业私有代码，最高通过率也只有四成

BiRun 讯，YC 孵化的 AI 数据公司 Specific Labs 推出编程评测 Real-SWE，专门拿真实公司的私有代码测试 Coding Agent。任务直接来自企业生产环境，包括算税、账单迁移、API 计费和客户数据迁移。代码和答案都没公开在网上，Agent 得自己摸清公司的业务规则和代码结构。

结果 Fable 5.1 排第一，通过率也只有 38.8%；GPT-6 Astra 为 33.8%，Gemini 3.8 Flash 为 31.2%。GLM 5.3 以 28.8% 排第四，高于 Grok 4.6、Kimi K3 和 GPT-5.6 Sol。当前公开的 10 个任务里，有 6 个整体通过率低于 15%，还有一个任务所有模型全部失败。

最让人意外的是 GLM 5.3。Real-SWE 更考验 Agent 在陌生项目里持续读代码、找规则和完成多步改动的能力。智谱研究员 Xiaopu Peng 回应称，他们从 GLM-5.1 起就在训练长程任务，Real-SWE 比公开 SWE 榜更接近这类能力，这也能部分解释 GLM 5.3 为什么在这套榜上表现突出。

信源

动察 Beating 频道 · 动察 Beating 交流群。