OpenAI mengaudit SWE-Bench Pro dan menemukan sekitar 30% tugas evaluasi cacat
Judul asli:Separating signal from noise in coding evaluations
Ringkasan AI
OpenAI melakukan audit terperinci terhadap benchmark evaluasi coding SWE-Bench Pro dan menemukan sekitar 30% tugas memiliki cacat. Dalam subset publik berisi 731 tugas, tingkat kelulusan model frontier meningkat dari 23,3% menjadi 80,3% dalam delapan bulan, tetapi pemeriksaan kualitas data menunjukkan banyak tugas memiliki pengujian yang terlalu ketat, deskripsi prompt yang kurang, cakupan pengujian yang tidak lengkap, atau petunjuk yang menyesatkan. OpenAI menyarankan pengembang model untuk meninjau hasil evaluasi secara cermat, dan menyoroti meningkatnya kegunaan agen AI dalam pemeriksaan kualitas data berskala besar.
Poin utama
- OpenAI melakukan audit terperinci terhadap benchmark evaluasi coding SWE-Bench Pro dan menemukan…
- Dalam subset publik berisi 731 tugas,tingkat kelulusan model frontier meningkat dari 23,3% menjadi…
- OpenAI menyarankan pengembang model untuk meninjau hasil evaluasi secara cermat,dan menyoroti…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- OpenAI:官网动态(RSS · 排除企业/客户案例)
- Kategori
- Makalah & Riset
- Skor AI
- 70
OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: OpenAI mengaudit SWE-Bench Pro dan menemukan sekitar 30% tugas evaluasi cacat. 8 Juli 2026. https://new.nat6.net/id/news/cmrcigf5k01bqihx54i8oph9u/