Evaluasi AI Kini Menjadi Hambatan Komputasi Baru
Judul asli:AI evals are becoming the new compute bottleneck
Ringkasan AI
Biaya evaluasi AI telah melewati ambang batas kritis dan sedang membentuk ulang keterjangkauannya. Holistic Agent Leaderboard menghabiskan sekitar 40.000 dolar AS untuk menjalankan lebih dari 20.000 simulasi agen AI, dengan biaya satu kali pengujian model terdepan dapat mencapai 2.829 dolar AS. Penelitian menunjukkan perbedaan biaya untuk tugas yang sama dapat mencapai 33 kali, dan pilihan scaffolding menjadi faktor pendorong biaya utama. Meskipun tolok ukur statis dapat mencapai pengurangan biaya hingga seratus kali melalui teknik kompresi, evaluasi agen AI memiliki keterbatasan kompresi karena lintasan yang panjang dan derau yang besar. Pengeluaran tinggi belum tentu menghasilkan hasil lebih baik: misalnya pada pengujian GAIA, solusi senilai 2.828 dolar AS mencapai akurasi 28,5%, sedangkan solusi senilai 1.686 dolar AS justru mencapai 57,6%. Ketika evaluasi mencakup pelatihan model, biayanya akan sepenuhnya melampaui kerangka API konvensional.
Poin utama
- Biaya evaluasi AI telah melewati ambang batas kritis dan sedang membentuk ulang keterjangkauannya.
- Holistic Agent Leaderboard menghabiskan sekitar 40.
- 000 dolar AS untuk menjalankan lebih dari 20.
- 000 simulasi agen AI,dengan biaya satu kali pengujian model terdepan dapat mencapai 2.
- 829 dolar AS.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Opini & Komentar
- Skor AI
- 62
这篇把分散的评估成本数据拉通了算总账,曾经便宜的评测现在动辄上万美元,独立评估正被价格挤出牌桌,做Agent的人必须意识到排行榜的代价。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Evaluasi AI Kini Menjadi Hambatan Komputasi Baru. 30 April 2026. https://new.nat6.net/id/news/cmokcbel300ilsl4fwekuxwgp/