Mga Opinyon at Komentaryo

Ang AI evaluation ay nagiging bagong compute bottleneck

Orihinal na pamagat:AI evals are becoming the new compute bottleneck

AI summary

Ang gastos sa AI evaluation ay lumampas na sa kritikal na threshold at binabago ang accessibility nito. Ang Holistic Agent Leaderboard ay gumastos ng humigit-kumulang 40,000 dolyar para magpatakbo ng mahigit 20,000 agent simulation, at ang isang beses na pagsubok sa frontier model ay maaaring umabot ng 2,829 dolyar. Ipinapakita ng pananaliksik na ang pagkakaiba ng gastos sa parehong gawain ay maaaring umabot ng 33 beses, at ang pagpili ng scaffold ang pangunahing cost driver. Bagama't ang static benchmark ay kayang makamit ang 100x na pagbawas sa gastos sa pamamagitan ng compression technology, limitado ang compression sa agent evaluation dahil sa mahaba at maingay na trajectory. Hindi laging mas maganda ang resulta ng mas mataas na gastos: halimbawa sa GAIA test, ang 2,828 dolyar na solusyon ay may 28.5% accuracy, habang ang 1,686 dolyar na solusyon ay umabot ng 57.6%. Kapag kasama sa evaluation ang model training, lalampas ang gastos sa karaniwang API framework.

Mahahalagang impormasyon

  • Ang gastos sa AI evaluation ay lumampas na sa kritikal na threshold at binabago ang accessibility…
  • Ang Holistic Agent Leaderboard ay gumastos ng humigit-kumulang 40,000 dolyar para magpatakbo ng…
  • Ipinapakita ng pananaliksik na ang pagkakaiba ng gastos sa parehong gawain ay maaaring umabot ng…
  • Bagama't ang static benchmark ay kayang makamit ang 100x na pagbawas sa gastos sa pamamagitan ng…
  • Hindi laging mas maganda ang resulta ng mas mataas na gastos: halimbawa sa GAIA test,ang 2,828…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Hugging Face 社区博客(混合发现)
Kategorya
Mga Opinyon at Komentaryo
AI na marka
62
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

这篇把分散的评估成本数据拉通了算总账,曾经便宜的评测现在动辄上万美元,独立评估正被价格挤出牌桌,做Agent的人必须意识到排行榜的代价。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Ang AI evaluation ay nagiging bagong compute bottleneck. 30 Abril 2026. https://new.nat6.net/fil/news/cmokcbel300ilsl4fwekuxwgp/

Tingnan lahat →