Pandangan dan ulasan

Mengapa SWE-bench Verified tidak lagi mengukur keupayaan pengekodan termaju

Ringkasan AI

OpenAI mengumumkan pemberhentian penggunaan penanda aras SWE-bench Verified untuk menilai keupayaan pengekodan termaju. Penanda aras ini dibina berdasarkan isu sejarah GitHub, dan taburan tugasnya tidak lagi dapat mencerminkan jenis masalah sebenar yang perlu diselesaikan oleh pembantu pengekodan AI masa kini. Seiring peningkatan prestasi model, set ujian penanda aras semakin tepu dan keupayaan pembezaannya menurun, dengan prestasi model sedia ada menghampiri tahap manusia. Oleh itu, pasukan akan beralih kepada kaedah penilaian baharu yang lebih mencabar dan realistik dari segi kerumitan.

Maklumat penting

  • OpenAI mengumumkan pemberhentian penggunaan penanda aras SWE-bench Verified untuk menilai…
  • Penanda aras ini dibina berdasarkan isu sejarah GitHub,dan taburan tugasnya tidak lagi dapat…
  • Seiring peningkatan prestasi model,set ujian penanda aras semakin tepu dan keupayaan pembezaannya…
  • Oleh itu,pasukan akan beralih kepada kaedah penilaian baharu yang lebih mencabar dan realistik…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
OpenAI:官网动态(RSS · 排除企业/客户案例)
Kategori
Pandangan dan ulasan
Skor AI
71
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想,你的 benchmark 体系是不是也该换了。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Mengapa SWE-bench Verified tidak lagi mengukur keupayaan pengekodan termaju. 27 April 2026. https://new.nat6.net/ms/news/cmog2im0800vbslr37vxebh5g/

Lihat Semua →