Kertas penyelidikan

Mengukur gangguan infrastruktur dalam penilaian pengekodan ejen

Tajuk asal:Quantifying infrastructure noise in agentic coding evals

Ringkasan AI

Kajian mendapati dalam penanda aras pengekodan ejen seperti SWE-bench, kesan perbezaan konfigurasi infrastruktur terhadap skor model mungkin melebihi jurang kecil antara model teratas dalam papan pendahulu. Eksperimen dalaman menunjukkan pada Terminal-Bench 2.0, kadar kejayaan antara tetapan sumber paling ketat dan paling longgar berbeza sebanyak 6%. Had sumber yang ketat menyebabkan hampir 6% tugas gagal akibat penamatan kontena secara tidak dijangka, manakala kadar ralat sebegini boleh turun kepada 0.5% di bawah konfigurasi longgar. Apabila margin sumber melebihi spesifikasi penanda aras sebanyak 3 kali, ejen malah dapat menyelesaikan tugas yang asalnya tidak dapat diselesaikan dengan bantuan sumber tambahan. Ini menunjukkan persekitaran penilaian bukan sahaja mempengaruhi kestabilan ujian, malah mengubah dimensi keupayaan yang sebenarnya diukur oleh penanda aras.

Maklumat penting

  • Kajian mendapati dalam penanda aras pengekodan ejen seperti SWE-bench,kesan perbezaan konfigurasi…
  • Eksperimen dalaman menunjukkan pada Terminal-Bench 2.
  • 0,kadar kejayaan antara tetapan sumber paling ketat dan paling longgar berbeza sebanyak 6%.
  • Had sumber yang ketat menyebabkan hampir 6% tugas gagal akibat penamatan kontena secara tidak…
  • 5% di bawah konfigurasi longgar.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
Kategori
Kertas penyelidikan
Skor AI
74
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Mengukur gangguan infrastruktur dalam penilaian pengekodan ejen. 5 Februari 2026. https://new.nat6.net/ms/news/cmorb7ml0008bslhfiqfwufv7/

Lihat Semua →