跳到正文
The Decoder· Jonathan Kemper·· 2 小时前精选AI 评分78

研究:花哨的编码智能体框架更贵但并未更强

Fancy harnesses make coding agents more expensive but not better, study finds

AI 导读

Liu 与 Han 的研究发现,在 SWE-bench Verified 上更换编码智能体框架(harness)对通过率的影响与同一配置重跑一次的波动相当,而 Claude Code 等框架的 token 消耗可达最精简方案的两到三倍。

推荐理由

研究用重复运行量化了编码智能体框架的噪声区间,为解读各家框架的跑分领先幅度提供了参照。

来源:The Decoder · the-decoder.com