观点与评论

为什么 SWE-bench Verified 不再衡量前沿编码能力

AI 摘要

OpenAI宣布停止使用SWE-bench Verified基准评估前沿编码能力。该基准基于GitHub历史问题构建,其任务分布已无法准确反映当前AI编码助手需解决的实际问题类型。随着模型性能提升,基准测试集趋于饱和,区分度下降,现有模型表现已接近人类水平。因此,团队将转向更具挑战性和现实复杂度的新评估方法。

关键信息

  • OpenAI宣布停止使用SWE-bench Verified基准评估前沿编码能力。
  • 该基准基于GitHub历史问题构建,其任务分布已无法准确反映当前AI编码助手需解决的实际问题类型。
  • 随着模型性能提升,基准测试集趋于饱和,区分度下降,现有模型表现已接近人类水平。
  • 因此,团队将转向更具挑战性和现实复杂度的新评估方法
  • OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。

速览

发布时间
更新时间
来源
OpenAI:官网动态(RSS · 排除企业/客户案例)
分类
观点与评论
AI 评分
71
阅读原文 前往信息源阅读完整正文
推荐理由

OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想,你的 benchmark 体系是不是也该换了。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:为什么 SWE-bench Verified 不再衡量前沿编码能力。2026年4月27日。https://new.nat6.net/news/cmog2im0800vbslr37vxebh5g/

查看全部 →
  • GPU现货价格六周内暴涨114%

    根据Ornn Compute Price Index数据,NVIDIA B200 GPU的现货租赁价格在六周内飙升114%,从三月初的2.31美元涨至本周的4.95美元/小时。此次价格暴涨与GPT-5.5等前沿模型发布带来的需求冲击紧密相…

    Tomasz Tunguz 博客(VC 分析)观点与评论AI 评分 64

  • 关于近期 Claude Code 质量报告的更新说明

    Anthropic 确认并解决了过去一个月影响 Claude Code、Claude Agent SDK 和 Claude Cowork 的三个问题,所有问题已于 4 月 20 日修复。具体包括:3月4日将 Claude Code 的默认…

    Anthropic:Engineering(事故复盘 + 工程实践 · 网页)观点与评论AI 评分 72

  • 追踪现已失效的OpenAI与微软AGI条款演变史

    微软与OpenAI的长期合作曾包含一项特殊条款:一旦实现通用人工智能(AGI),微软的商业知识产权将失效。AGI最初被模糊定义,后在2024年被具体量化为能为早期投资者产生约1000亿美元利润的系统。2025年,双方修订协议,规定AGI需…

    Simon Willison 博客观点与评论AI 评分 75

  • Cognition 复盘两年构建 Devin 云智能体基础设施的经验

    Cognition 基于两年 Devin 开发经验复盘构建云智能体的两大投入:基础设施与组织变革。文章指出容器共享内核存在逃逸风险、无法在异步间隙可靠保存状态,其方案是 microVM 隔离和 hypervisor 级整机状态快照;编排层…

    Cognition 模型 / Devin 博客(网页)观点与评论AI 评分 63

  • AI销售中的三个核心问题

    AI销售策略正从询问软件预算转向三个核心问题:软件总预算、劳动力总预算,以及客户期望三年后两者的比例。这一转变将销售对话提升至战略层面。当前数据显示,销售、支持和工程部门的人力与软件成本比分别为10:1、4:1和最高25:1,高比率意味着…

    Tomasz Tunguz 博客(VC 分析)观点与评论AI 评分 63