量化智能体编码评估中的基础设施干扰
原文标题:Quantifying infrastructure noise in agentic coding evals
AI 摘要
研究发现,在SWE-bench等智能体编码基准测试中,基础设施配置差异对模型评分的影响,可能超过排行榜上顶尖模型之间的微小分差。内部实验显示,在Terminal-Bench 2.0上,最严格与最宽松的资源设置间成功率相差6%。严格限制资源会导致近6%的任务因容器意外终止而失败,而宽松配置下此类错误率可降至0.5%。当资源余量超过基准规格3倍时,智能体甚至能借助额外资源成功完成原本无法解决的任务。这表明评估环境不仅影响测试稳定性,更会改变基准测试实际衡量的能力维度。
关键信息
- 研究发现,在SWE-bench等智能体编码基准测试中,基础设施配置差异对模型评分的影响,可能超过排行榜上顶尖模型之间的微小分差。
- 内部实验显示,在Terminal-Bench 2.
- 0上,最严格与最宽松的资源设置间成功率相差6%。
- 严格限制资源会导致近6%的任务因容器意外终止而失败,而宽松配置下此类错误率可降至0.
- 当资源余量超过基准规格3倍时,智能体甚至能借助额外资源成功完成原本无法解决的任务。
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 74
推荐理由
Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:量化智能体编码评估中的基础设施干扰。2026年2月5日。https://new.nat6.net/news/cmorb7ml0008bslhfiqfwufv7/