Mga Papel at Pananaliksik

Iminungkahi ng CRUX project ang open-world evaluation para subukan ang frontier AI capabilities

Orihinal na pamagat:Open-world evaluations for measuring frontier AI capabilities

AI summary

Binubuo ang CRUX project ng 17 researcher na sumusubok sa kakayahan ng AI sa totoong senaryo sa pamamagitan ng open-world evaluation. Sa unang eksperimento, matagumpay na nakabuo at nakapaglabas ang isang AI agent ng iOS app sa App Store, may dalawang error lamang, at nagkakahalaga ng humigit-kumulang 1,000 dolyar, ngunit inihayag din nito ang panganib ng AI-driven na spam sa app store.

Mahahalagang impormasyon

  • Binubuo ang CRUX project ng 17 researcher na sumusubok sa kakayahan ng AI sa totoong senaryo sa…
  • Sa unang eksperimento,matagumpay na nakabuo at nakapaglabas ang isang AI agent ng iOS app sa App…
  • at nagkakahalaga ng humigit-kumulang 1,000 dolyar,ngunit inihayag din nito ang panganib ng…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
AI as Normal Technology(RSS)
Kategorya
Mga Papel at Pananaliksik
AI na marka
70
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Iminungkahi ng CRUX project ang open-world evaluation para subukan ang frontier AI capabilities. 17 Abril 2026. https://new.nat6.net/fil/news/cms3fv5il00ofrondzp68ytt6/

Tingnan lahat →