Pandangan dan ulasan

Penilaian AI kini menjadi kesesakan kuasa pengiraan baharu

Tajuk asal:AI evals are becoming the new compute bottleneck

Ringkasan AI

Kos penilaian AI telah melepasi ambang kritikal dan sedang membentuk semula ketercapaiannya. Holistic Agent Leaderboard membelanjakan kira-kira 40,000 dolar AS untuk menjalankan lebih 20,000 simulasi ejen, dengan kos ujian model terdepan sekali boleh mencecah 2,829 dolar AS. Kajian menunjukkan perbezaan kos bagi tugas yang sama boleh mencapai 33 kali ganda, dan pilihan perancah merupakan pemacu kos teras. Walaupun penanda aras statik boleh mengurangkan kos sebanyak seratus kali ganda melalui teknologi pemampatan, penilaian ejen mempunyai potensi pemampatan terhad kerana trajektorinya panjang dan bising. Perbelanjaan tinggi tidak semestinya membawa hasil lebih baik: contohnya dalam ujian GAIA, penyelesaian 2,828 dolar AS mencapai ketepatan 28.5%, manakala penyelesaian 1,686 dolar AS pula mencapai 57.6%. Apabila penilaian merangkumi latihan model, kos akan sepenuhnya melebihi rangka kerja API biasa.

Maklumat penting

  • Kos penilaian AI telah melepasi ambang kritikal dan sedang membentuk semula ketercapaiannya.
  • Holistic Agent Leaderboard membelanjakan kira-kira 40,000 dolar AS untuk menjalankan lebih 20,000…
  • Kajian menunjukkan perbezaan kos bagi tugas yang sama boleh mencapai 33 kali ganda,dan pilihan…
  • Walaupun penanda aras statik boleh mengurangkan kos sebanyak seratus kali ganda melalui teknologi…
  • Perbelanjaan tinggi tidak semestinya membawa hasil lebih baik: contohnya dalam ujian…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Pandangan dan ulasan
Skor AI
62
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

这篇把分散的评估成本数据拉通了算总账,曾经便宜的评测现在动辄上万美元,独立评估正被价格挤出牌桌,做Agent的人必须意识到排行榜的代价。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Penilaian AI kini menjadi kesesakan kuasa pengiraan baharu. 30 April 2026. https://new.nat6.net/ms/news/cmokcbel300ilsl4fwekuxwgp/

Lihat Semua →