研究:编码智能体框架更贵未必更强
热点事件持续更新
研究:编码智能体框架更贵未必更强
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Liu 与 Han 发布对比研究,在 SWE-bench Verified 上比较 Claude Code、OpenCode、mini-SWE-agent 三种编码智能体框架的通过率与成本。结论是:更换框架对通过率的影响,与同一配置重跑一次的波动相当;在 447 个任务的较大样本上,最重的 Claude Code 与最轻的 mini-SWE-agent 对两个被测模型的通过率差距不到两个百分点。 成本差异明显:Claude Code 等框架的 token 消耗可达最精简方案的两到三倍。 所有运行均离线进行。研究者称,早期部分运行出现疑似接触测试数据的迹象,他们丢弃了这些结果,不指认任何厂商在测试数据上训练,但因此切断了其余所有运行的网络访问。Claude Opus 5 仅在 Claude Code 中作为参照运行。数据和脚本已在 GitHub 公开。
AI 根据报道生成 · 2 小时前更新
最新进展10月24日 17:21
研究:花哨的编码智能体框架更贵但并未更强报道时间线
沿着报道,了解事件的不同侧面。
10月24日
- The Decoder精选研究:花哨的编码智能体框架更贵但并未更强
Liu 与 Han 的研究发现,在 SWE-bench Verified 上更换编码智能体框架(harness)对通过率的影响与同一配置重跑一次的波动相当,而 Claude Code 等框架的 token 消耗可达最精简方案的两到三倍。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。