CRUX 项目提出“开放世界评估”测试前沿AI能力
原文标题:Open-world evaluations for measuring frontier AI capabilities
AI 摘要
CRUX项目由17位研究者组成,通过“开放世界评估”在真实场景中测试AI能力。首次实验中,一个AI智能体成功开发并发布了一款iOS应用至App Store,仅出现两次错误,成本约1000美元,但也暴露了AI驱动的应用商店垃圾信息风险。
关键信息
- CRUX项目由17位研究者组成,通过“开放世界评估”在真实场景中测试AI能力。
- 首次实验中,一个AI智能体成功开发并发布了一款iOS应用至App Store,仅出现两次错误,成本约1000美元,但也暴露了AI驱动的应用商店垃圾信息风险
- 这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 70
推荐理由
这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:CRUX 项目提出“开放世界评估”测试前沿AI能力。2026年4月17日。https://new.nat6.net/news/cms3fv5il00ofrondzp68ytt6/