换套件比换模型更省钱
Harness choice beats model swaps
要点
- 同一 Kimi K3 跑二十六项任务，换套件后成功率能从十七拉到二十一。
- Hermes 平均每任务约零点三九美元，Claude Code 约一点四七美元，贵近四倍。
- 中位耗时 Hermes 约一百八十秒，快过 Codex、OpenCode 和 Claude Code。
- 想降本先换套件再换模型，同样模型成本最多可差三点八倍。
原帖开头
We ran Kimi K3 through 3 more agent harnesses (Pi Agent, OpenCode, and Codex) bringing the comparison to 6 harnesses across 26 agentic tasks. 2 things stood out: Codex ranked last on success despite mid-pack speed and cost, while Claude Code cost about 4x more than Hermes. 🧵🧵 …
