Kajian METR: kira-kira separuh PR AI yang lulus SWE-bench Verified tidak akan digabungkan oleh penyelia
Tajuk asal:Many SWE-bench-Passing PRs Would Not Be Merged into Main
Ringkasan AI
METR membiarkan 4 penyelia scikit-learn, Sphinx dan pytest menyemak secara buta 296 PR yang dijana AI, mendapati kira-kira separuh tampalan yang lulus penilaian automatik SWE-bench Verified tidak akan digabungkan ke cabang utama; selepas dinormalkan dengan garis dasar standard emas, kadar penggabungan penyelia secara purata 24.2 mata peratusan lebih rendah daripada penilaian automatik. Kajian menekankan tampalan AI tidak mendapat maklum balas berulang seperti pembangun manusia, tidak boleh berdasarkan ini menegaskan ia had keupayaan, tetapi membuat inferens kegunaan sebenar ejen secara langsung mengikut skor penanda aras mungkin terlebih anggar.
Maklumat penting
- METR membiarkan 4 penyelia scikit-learn,Sphinx dan pytest menyemak secara buta 296 PR yang dijana…
- selepas dinormalkan dengan garis dasar standard emas,kadar penggabungan penyelia secara purata 24.
- 2 mata peratusan lebih rendah daripada penilaian automatik.
- Kajian menekankan tampalan AI tidak mendapat maklum balas berulang seperti pembangun manusia,tidak…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- METR:Notes(网页)
- Kategori
- Kertas penyelidikan
- Skor AI
- 62
研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Kajian METR: kira-kira separuh PR AI yang lulus SWE-bench Verified tidak akan digabungkan oleh penyelia. 10 Mac 2026. https://new.nat6.net/ms/news/cmtym8yln0009rolseat7ohr1/