Mengukur gangguan infrastruktur dalam penilaian pengekodan ejen
Tajuk asal:Quantifying infrastructure noise in agentic coding evals
Ringkasan AI
Kajian mendapati dalam penanda aras pengekodan ejen seperti SWE-bench, kesan perbezaan konfigurasi infrastruktur terhadap skor model mungkin melebihi jurang kecil antara model teratas dalam papan pendahulu. Eksperimen dalaman menunjukkan pada Terminal-Bench 2.0, kadar kejayaan antara tetapan sumber paling ketat dan paling longgar berbeza sebanyak 6%. Had sumber yang ketat menyebabkan hampir 6% tugas gagal akibat penamatan kontena secara tidak dijangka, manakala kadar ralat sebegini boleh turun kepada 0.5% di bawah konfigurasi longgar. Apabila margin sumber melebihi spesifikasi penanda aras sebanyak 3 kali, ejen malah dapat menyelesaikan tugas yang asalnya tidak dapat diselesaikan dengan bantuan sumber tambahan. Ini menunjukkan persekitaran penilaian bukan sahaja mempengaruhi kestabilan ujian, malah mengubah dimensi keupayaan yang sebenarnya diukur oleh penanda aras.
Maklumat penting
- Kajian mendapati dalam penanda aras pengekodan ejen seperti SWE-bench,kesan perbezaan konfigurasi…
- Eksperimen dalaman menunjukkan pada Terminal-Bench 2.
- 0,kadar kejayaan antara tetapan sumber paling ketat dan paling longgar berbeza sebanyak 6%.
- Had sumber yang ketat menyebabkan hampir 6% tugas gagal akibat penamatan kontena secara tidak…
- 5% di bawah konfigurasi longgar.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Kertas penyelidikan
- Skor AI
- 74
Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Mengukur gangguan infrastruktur dalam penilaian pengekodan ejen. 5 Februari 2026. https://new.nat6.net/ms/news/cmorb7ml0008bslhfiqfwufv7/