论文与研究

METR 研究更新:算法评分高估 AI 智能体真实软件工程能力

原文标题:Research Update: Algorithmic vs. Holistic Evaluation

AI 摘要

METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.7 Sonnet(Inspect ReAct 智能体),按维护者测试用例算法评分成功率为 38%(±19%),但人工评审的 15 个 PR 中没有一个可以直接合并。

关键信息

  • METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.
  • 7 Sonnet(Inspect ReAct 智能体),按维护者测试用例算法评分成功率为 38%(±19%),但人工评审的 15 个 PR 中没有一个可以直接合并
  • METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力

速览

发布时间
更新时间
来源
METR:Research(网页)
分类
论文与研究
AI 评分
61
阅读原文 前往信息源阅读完整正文
推荐理由

METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:METR 研究更新:算法评分高估 AI 智能体真实软件工程能力。2025年8月13日。https://new.nat6.net/news/cmtyo7nb703vbrog0wobc9ksx/

查看全部 →