Iminungkahi ng CRUX project ang open-world evaluation para subukan ang frontier AI capabilities
Orihinal na pamagat:Open-world evaluations for measuring frontier AI capabilities
AI summary
Binubuo ang CRUX project ng 17 researcher na sumusubok sa kakayahan ng AI sa totoong senaryo sa pamamagitan ng open-world evaluation. Sa unang eksperimento, matagumpay na nakabuo at nakapaglabas ang isang AI agent ng iOS app sa App Store, may dalawang error lamang, at nagkakahalaga ng humigit-kumulang 1,000 dolyar, ngunit inihayag din nito ang panganib ng AI-driven na spam sa app store.
Mahahalagang impormasyon
- Binubuo ang CRUX project ng 17 researcher na sumusubok sa kakayahan ng AI sa totoong senaryo sa…
- Sa unang eksperimento,matagumpay na nakabuo at nakapaglabas ang isang AI agent ng iOS app sa App…
- at nagkakahalaga ng humigit-kumulang 1,000 dolyar,ngunit inihayag din nito ang panganib ng…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- AI as Normal Technology(RSS)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 70
这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Iminungkahi ng CRUX project ang open-world evaluation para subukan ang frontier AI capabilities. 17 Abril 2026. https://new.nat6.net/fil/news/cms3fv5il00ofrondzp68ytt6/