论文与研究

量化智能体编码评估中的基础设施干扰

原文标题:Quantifying infrastructure noise in agentic coding evals

AI 摘要

研究发现,在SWE-bench等智能体编码基准测试中,基础设施配置差异对模型评分的影响,可能超过排行榜上顶尖模型之间的微小分差。内部实验显示,在Terminal-Bench 2.0上,最严格与最宽松的资源设置间成功率相差6%。严格限制资源会导致近6%的任务因容器意外终止而失败,而宽松配置下此类错误率可降至0.5%。当资源余量超过基准规格3倍时,智能体甚至能借助额外资源成功完成原本无法解决的任务。这表明评估环境不仅影响测试稳定性,更会改变基准测试实际衡量的能力维度。

关键信息

  • 研究发现,在SWE-bench等智能体编码基准测试中,基础设施配置差异对模型评分的影响,可能超过排行榜上顶尖模型之间的微小分差。
  • 内部实验显示,在Terminal-Bench 2.
  • 0上,最严格与最宽松的资源设置间成功率相差6%。
  • 严格限制资源会导致近6%的任务因容器意外终止而失败,而宽松配置下此类错误率可降至0.
  • 当资源余量超过基准规格3倍时,智能体甚至能借助额外资源成功完成原本无法解决的任务。

速览

发布时间
更新时间
来源
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
分类
论文与研究
AI 评分
74
阅读原文 前往信息源阅读完整正文
推荐理由

Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:量化智能体编码评估中的基础设施干扰。2026年2月5日。https://new.nat6.net/news/cmorb7ml0008bslhfiqfwufv7/

查看全部 →