Natuklasan ng OpenAI audit sa SWE-Bench Pro na may depekto ang humigit-kumulang 30% ng evaluation tasks
Orihinal na pamagat:Separating signal from noise in coding evaluations
AI summary
Nagsagawa ang OpenAI ng detalyadong audit sa coding evaluation benchmark na SWE-Bench Pro at natuklasan na may depekto ang humigit-kumulang 30% ng mga gawain. Sa pampublikong subset na 731 gawain, tumaas ang pass rate ng frontier models mula 23.3% patungong 80.3% sa loob ng walong buwan, ngunit ipinakita ng data quality checks na maraming gawain ang may sobrang mahigpit na test, kulang na prompt description, hindi kumpletong test coverage, o nakalilitong prompt. Pinapayuhan ng OpenAI ang mga model developer na suriing mabuti ang evaluation results, at itinuro ang lumalaking pagiging kapaki-pakinabang ng AI agents sa规模化 data quality checks.
Mahahalagang impormasyon
- Nagsagawa ang OpenAI ng detalyadong audit sa coding evaluation benchmark na SWE-Bench Pro at…
- Sa pampublikong subset na 731 gawain,tumaas ang pass rate ng frontier models mula 23.
- 3% patungong 80.
- 3% sa loob ng walong buwan,ngunit ipinakita ng data quality checks na maraming gawain ang may…
- Pinapayuhan ng OpenAI ang mga model developer na suriing mabuti ang evaluation results,at itinuro a…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- OpenAI:官网动态(RSS · 排除企业/客户案例)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 70
OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Natuklasan ng OpenAI audit sa SWE-Bench Pro na may depekto ang humigit-kumulang 30% ng evaluation tasks. 8 Hulyo 2026. https://new.nat6.net/fil/news/cmrcigf5k01bqihx54i8oph9u/