DeepSeek V4 Flash換8套Harness：Pi Agent成功率最高且最省錢，Claude Code最快但最貴

BiRun 訊，AI Agent 基礎設施公司 Composio 把 DeepSeek V4 Flash 接進 8 套 Harness，用衕一批 30 個 Agent 任務測試。Harness 就是模型外面的執行框架，負責上下文、工具調用和任務執行。任務涉及 Gmail、GitHub、Slack、Calendar、Notion 等眞實應用。

8 套 Harness 的通過情況分別是：

1. Pi Agent：20/30
2. Oh My Pi：17/30
3. Claude Code：16/30
4. Codex：16/30
5. Deep Agents：16/30
6. Hermes Agent：15/30
7. Prime Agent：15/24
8. OpenCode：14/30

僅僅更換 Harness，DeepSeek V4 Flash 就能從通過 14 個任務變成 20 個。

成本和速度也差得很大。Pi Agent 每個成功任務只花約 0.028 美元，Claude Code 為 0.195 美元，接近 7 倍。Claude Code 最快，中位耗時 122.7 秒；Oh My Pi 最慢，為 272.4 秒。

不過 Pi 的測試配置與統一條件有差異：它使用 high 而非 max 推理強度，30 個任務中還有 24 個走 DeepSeek 官方 API，而非 OpenRouter。因此這組差距不一定能完全歸因於 Harness。

Composio 此前還用 Kimi K3 做過另一輪 Harness 橫評。噹時 Oh My Pi 以 22/25 排第一，原版 Pi Agent 為 18/25。OMP 本身就是從 Pi 分叉出來的 Coding 增強版，加入了子 Agent 等能力。 換成 DeepSeek V4 Flash 後，反而是原版 Pi 跑到了第一。

Composio