换套件比换模型更省钱
Harness Beats Model For Cost
要点
- 同一 Kimi K3、同一 28 题，成功率接近，但 token 可差约 30 倍。
- 中位任务：Kimi Code 6.1 万、Hermes 6.7 万、Claude Code 34 万 token。
- 按输入价估算，单任务约 0.22、0.28 对上 Claude Code 的 2 美元。
- 最快的是 Hermes，最省 token 的是 Kimi Code，两者不是同一个。
- 要降本先审 harness：套件可让成本差约 9 倍，模型能力几乎不变。
原帖开头
We ran Kimi K3 through 3 agent harnesses (Claude Code, Hermes, Kimi Code) on 28 identical tasks. All 3 harnesses completed the tasks at similar success rates, but the interesting story is token efficiency: the same task cost up to 30x more tokens depending on the harness. 🧵🧵 …
