论文与研究

CRUX 项目提出“开放世界评估”测试前沿AI能力

原文标题:Open-world evaluations for measuring frontier AI capabilities

AI 摘要

CRUX项目由17位研究者组成,通过“开放世界评估”在真实场景中测试AI能力。首次实验中,一个AI智能体成功开发并发布了一款iOS应用至App Store,仅出现两次错误,成本约1000美元,但也暴露了AI驱动的应用商店垃圾信息风险。

关键信息

  • CRUX项目由17位研究者组成,通过“开放世界评估”在真实场景中测试AI能力。
  • 首次实验中,一个AI智能体成功开发并发布了一款iOS应用至App Store,仅出现两次错误,成本约1000美元,但也暴露了AI驱动的应用商店垃圾信息风险
  • 这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟

速览

发布时间
更新时间
来源
AI as Normal Technology(RSS)
分类
论文与研究
AI 评分
70
阅读原文 前往信息源阅读完整正文
推荐理由

这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:CRUX 项目提出“开放世界评估”测试前沿AI能力。2026年4月17日。https://new.nat6.net/news/cms3fv5il00ofrondzp68ytt6/

查看全部 →