METR 研究更新:算法评分高估 AI 智能体真实软件工程能力
原文标题:Research Update: Algorithmic vs. Holistic Evaluation
AI 摘要
METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.7 Sonnet(Inspect ReAct 智能体),按维护者测试用例算法评分成功率为 38%(±19%),但人工评审的 15 个 PR 中没有一个可以直接合并。
关键信息
- METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.
- 7 Sonnet(Inspect ReAct 智能体),按维护者测试用例算法评分成功率为 38%(±19%),但人工评审的 15 个 PR 中没有一个可以直接合并
- METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 61
推荐理由
METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:METR 研究更新:算法评分高估 AI 智能体真实软件工程能力。2025年8月13日。https://new.nat6.net/news/cmtyo7nb703vbrog0wobc9ksx/