Mengukur gangguan infrastruktur dalam evaluasi pengodean agen AI
Judul asli:Quantifying infrastructure noise in agentic coding evals
Ringkasan AI
Penelitian menemukan bahwa dalam tolok ukur pengodean agen seperti SWE-bench, perbedaan konfigurasi infrastruktur dapat memengaruhi skor model melebihi selisih kecil antar model teratas di papan peringkat. Eksperimen internal menunjukkan bahwa pada Terminal-Bench 2.0, tingkat keberhasilan berbeda 6% antara pengaturan sumber daya paling ketat dan paling longgar. Pembatasan sumber daya yang ketat menyebabkan hampir 6% tugas gagal karena kontainer berhenti secara tak terduga, sedangkan pada konfigurasi longgar tingkat kesalahan tersebut dapat turun hingga 0,5%. Ketika cadangan sumber daya melebihi spesifikasi tolok ukur tiga kali lipat, agen bahkan dapat menyelesaikan tugas yang semula tidak mungkin diselesaikan dengan bantuan sumber daya tambahan. Ini menunjukkan bahwa lingkungan evaluasi tidak hanya memengaruhi stabilitas pengujian, tetapi juga mengubah dimensi kemampuan yang sebenarnya diukur oleh tolok ukur.
Poin utama
- Penelitian menemukan bahwa dalam tolok ukur pengodean agen seperti SWE-bench,perbedaan konfigurasi…
- Eksperimen internal menunjukkan bahwa pada Terminal-Bench 2.
- 0,tingkat keberhasilan berbeda 6% antara pengaturan sumber daya paling ketat dan paling longgar.
- Pembatasan sumber daya yang ketat menyebabkan hampir 6% tugas gagal karena kontainer berhenti…
- Ketika cadangan sumber daya melebihi spesifikasi tolok ukur tiga kali lipat,agen bahkan dapat…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Makalah & Riset
- Skor AI
- 74
Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Mengukur gangguan infrastruktur dalam evaluasi pengodean agen AI. 5 Februari 2026. https://new.nat6.net/id/news/cmorb7ml0008bslhfiqfwufv7/