论文与研究

ARC Prize 发布 ARC-AGI-2 技术报告:前沿模型得分不足 5%,人类可解 100% 任务

原文标题:ARC-AGI-2 A New Challenge for Frontier AI Reasoning Systems

AI 摘要

ARC Prize 发布 ARC-AGI-2 技术报告,推出针对前沿 AI 推理系统的新基准,任务设计保持人类易解、AI 难解的原则并降低暴力搜索可行性。400 人测试覆盖 1,417 个任务,人类可解全部任务,平均每题约 2.3 分钟;发布时领先模型在 ARC-AGI-2 上成功率均未超过 5%,而同类模型在 ARC-AGI-1 上通常为 20% 至 50%。

关键信息

  • ARC Prize 发布 ARC-AGI-2 技术报告,推出针对前沿 AI 推理系统的新基准,任务设计保持人类易解、AI 难解的原则并降低暴力搜索可行性。
  • 400 人测试覆盖 1,417 个任务,人类可解全部任务,平均每题约 2.
  • 发布时领先模型在 ARC-AGI-2 上成功率均未超过 5%,而同类模型在 ARC-AGI-1 上通常为 20% 至 50%
  • 官方技术报告给出人类实测与前沿模型得分对比,可以据此了解新基准的难度设计和它想度量的能力差距

速览

发布时间
更新时间
来源
ARC Prize:官方博客
分类
论文与研究
AI 评分
67
阅读原文 前往信息源阅读完整正文
推荐理由

官方技术报告给出人类实测与前沿模型得分对比,可以据此了解新基准的难度设计和它想度量的能力差距。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:ARC Prize 发布 ARC-AGI-2 技术报告:前沿模型得分不足 5%,人类可解 100% 任务。2025年5月20日。https://new.nat6.net/news/cmtyo2p2s03g5rog00pkk4enc/

查看全部 →