Audit OpenAI terhadap SWE-Bench Pro temui kira-kira 30% tugas penilaian cacat
Tajuk asal:Separating signal from noise in coding evaluations
Ringkasan AI
OpenAI menjalankan audit terperinci terhadap penanda aras penilaian pengekodan SWE-Bench Pro dan mendapati kira-kira 30% tugas mempunyai kecacatan. Dalam subset awam 731 tugas, kadar lulus model termaju meningkat daripada 23.3% kepada 80.3% dalam tempoh lapan bulan, tetapi semakan kualiti data menunjukkan banyak tugas mempunyai masalah seperti ujian terlalu ketat, penerangan prompt tidak mencukupi, liputan ujian tidak lengkap atau prompt mengelirukan. OpenAI menyarankan pembangun model meneliti keputusan penilaian dengan teliti dan menunjukkan kegunaan ejen AI yang semakin meningkat dalam semakan kualiti data secara berskala.
Maklumat penting
- OpenAI menjalankan audit terperinci terhadap penanda aras penilaian pengekodan SWE-Bench Pro dan…
- Dalam subset awam 731 tugas,kadar lulus model termaju meningkat daripada 23.
- 3% kepada 80.
- 3% dalam tempoh lapan bulan,tetapi semakan kualiti data menunjukkan banyak tugas mempunyai masalah…
- OpenAI menyarankan pembangun model meneliti keputusan penilaian dengan teliti dan menunjukkan…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- OpenAI:官网动态(RSS · 排除企业/客户案例)
- Kategori
- Kertas penyelidikan
- Skor AI
- 70
OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Audit OpenAI terhadap SWE-Bench Pro temui kira-kira 30% tugas penilaian cacat. 8 Julai 2026. https://new.nat6.net/ms/news/cmrcigf5k01bqihx54i8oph9u/