Mengapa SWE-bench Verified tidak lagi mengukur keupayaan pengekodan termaju
Ringkasan AI
OpenAI mengumumkan pemberhentian penggunaan penanda aras SWE-bench Verified untuk menilai keupayaan pengekodan termaju. Penanda aras ini dibina berdasarkan isu sejarah GitHub, dan taburan tugasnya tidak lagi dapat mencerminkan jenis masalah sebenar yang perlu diselesaikan oleh pembantu pengekodan AI masa kini. Seiring peningkatan prestasi model, set ujian penanda aras semakin tepu dan keupayaan pembezaannya menurun, dengan prestasi model sedia ada menghampiri tahap manusia. Oleh itu, pasukan akan beralih kepada kaedah penilaian baharu yang lebih mencabar dan realistik dari segi kerumitan.
Maklumat penting
- OpenAI mengumumkan pemberhentian penggunaan penanda aras SWE-bench Verified untuk menilai…
- Penanda aras ini dibina berdasarkan isu sejarah GitHub,dan taburan tugasnya tidak lagi dapat…
- Seiring peningkatan prestasi model,set ujian penanda aras semakin tepu dan keupayaan pembezaannya…
- Oleh itu,pasukan akan beralih kepada kaedah penilaian baharu yang lebih mencabar dan realistik…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- OpenAI:官网动态(RSS · 排除企业/客户案例)
- Kategori
- Pandangan dan ulasan
- Skor AI
- 71
OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想,你的 benchmark 体系是不是也该换了。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Mengapa SWE-bench Verified tidak lagi mengukur keupayaan pengekodan termaju. 27 April 2026. https://new.nat6.net/ms/news/cmog2im0800vbslr37vxebh5g/