Mengapa SWE-bench Verified tidak lagi mengukur kemampuan coding terdepan
Ringkasan AI
OpenAI mengumumkan berhenti menggunakan tolok ukur SWE-bench Verified untuk mengevaluasi kemampuan coding terdepan. Tolok ukur ini dibangun berdasarkan masalah historis GitHub, dan distribusi tugasnya tidak lagi secara akurat mencerminkan jenis masalah nyata yang harus diselesaikan asisten coding AI saat ini. Seiring peningkatan performa model, set pengujian tolok ukur menjadi jenuh dan daya pembedanya menurun, dengan performa model yang ada sudah mendekati tingkat manusia. Karena itu, tim akan beralih ke metode evaluasi baru yang lebih menantang dan kompleks secara realistis.
Poin utama
- OpenAI mengumumkan berhenti menggunakan tolok ukur SWE-bench Verified untuk mengevaluasi kemampuan…
- Tolok ukur ini dibangun berdasarkan masalah historis GitHub,dan distribusi tugasnya tidak lagi…
- Seiring peningkatan performa model,set pengujian tolok ukur menjadi jenuh dan daya pembedanya…
- Karena itu,tim akan beralih ke metode evaluasi baru yang lebih menantang dan kompleks secara…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- OpenAI:官网动态(RSS · 排除企业/客户案例)
- Kategori
- Opini & Komentar
- Skor AI
- 71
OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想,你的 benchmark 体系是不是也该换了。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Mengapa SWE-bench Verified tidak lagi mengukur kemampuan coding terdepan. 27 April 2026. https://new.nat6.net/id/news/cmog2im0800vbslr37vxebh5g/