Kertas penyelidikan

Audit OpenAI terhadap SWE-Bench Pro temui kira-kira 30% tugas penilaian cacat

Tajuk asal:Separating signal from noise in coding evaluations

Ringkasan AI

OpenAI menjalankan audit terperinci terhadap penanda aras penilaian pengekodan SWE-Bench Pro dan mendapati kira-kira 30% tugas mempunyai kecacatan. Dalam subset awam 731 tugas, kadar lulus model termaju meningkat daripada 23.3% kepada 80.3% dalam tempoh lapan bulan, tetapi semakan kualiti data menunjukkan banyak tugas mempunyai masalah seperti ujian terlalu ketat, penerangan prompt tidak mencukupi, liputan ujian tidak lengkap atau prompt mengelirukan. OpenAI menyarankan pembangun model meneliti keputusan penilaian dengan teliti dan menunjukkan kegunaan ejen AI yang semakin meningkat dalam semakan kualiti data secara berskala.

Maklumat penting

  • OpenAI menjalankan audit terperinci terhadap penanda aras penilaian pengekodan SWE-Bench Pro dan…
  • Dalam subset awam 731 tugas,kadar lulus model termaju meningkat daripada 23.
  • 3% kepada 80.
  • 3% dalam tempoh lapan bulan,tetapi semakan kualiti data menunjukkan banyak tugas mempunyai masalah…
  • OpenAI menyarankan pembangun model meneliti keputusan penilaian dengan teliti dan menunjukkan…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
OpenAI:官网动态(RSS · 排除企业/客户案例)
Kategori
Kertas penyelidikan
Skor AI
70
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Audit OpenAI terhadap SWE-Bench Pro temui kira-kira 30% tugas penilaian cacat. 8 Julai 2026. https://new.nat6.net/ms/news/cmrcigf5k01bqihx54i8oph9u/

Lihat Semua →