让AI迁移整个代码库，94.6%没过关：20项任务13项无人做成

BiRun 讯，AI Agent 公司 Einsia 发布 SWE Refactor Bench，专门测 Coding Agent 能不能自己迁移整个代码库。20 个任务来自 SQLite、zlib、libsodium、GraphHopper 等真实项目，包括 C 改 Rust、Maven 改 Gradle、SQLite 移植到 WASI。每项给 Agent 6～30 小时。

评测第一关检查旧技术栈是不是真的被替掉，防止 Agent 留着旧代码混过去；第二关跑超过 13 万项固定检查；最后再派 6 个独立 Coding Agent，各花 1 小时专门找隐藏 bug。

8 个前沿模型、26 种配置一共跑了 520 次。340 次确实完成迁移，88 次把预先准备的测试全部跑绿，但其中 60 次又被最后一轮找出了隐藏 bug。最终只有 28 次完全过关，通过率 5.4%；20 个任务里有 13 个没人做成。Claude Opus 5 的 xhigh 配置最好，20 个任务完整通过 5 个。

现在的 Coding Agent 已经能大规模改代码，但要做到「整个系统改完还能完全不出错」，还差得很远。

信源

动察 Beating 频道 · 动察 Beating 交流群