Studi METR: sekitar separuh PR AI yang lolos SWE-bench Verified tidak akan digabungkan maintainer
Judul asli:Many SWE-bench-Passing PRs Would Not Be Merged into Main
Ringkasan AI
METR meminta 4 maintainer scikit-learn, Sphinx, dan pytest meninjau secara blind 296 PR yang dihasilkan AI, dan menemukan sekitar separuh patch yang lolos penilaian otomatis SWE-bench Verified tidak akan digabungkan ke cabang utama; setelah dinormalisasi dengan baseline gold standard, tingkat penggabungan maintainer rata-rata 24,2 poin persentase lebih rendah daripada penilaian otomatis. Studi menekankan patch AI tidak memperoleh umpan balik iteratif seperti pengembang manusia, sehingga tidak dapat disimpulkan sebagai batas kemampuan, tetapi menyimpulkan kegunaan aktual agen langsung dari skor benchmark berpotensi terlalu tinggi.
Poin utama
- METR meminta 4 maintainer scikit-learn,Sphinx,dan pytest meninjau secara blind 296 PR yang…
- setelah dinormalisasi dengan baseline gold standard,tingkat penggabungan maintainer rata-rata 24,2…
- Studi menekankan patch AI tidak memperoleh umpan balik iteratif seperti pengembang…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- METR:Notes(网页)
- Kategori
- Makalah & Riset
- Skor AI
- 62
研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Studi METR: sekitar separuh PR AI yang lolos SWE-bench Verified tidak akan digabungkan maintainer. 10 Maret 2026. https://new.nat6.net/id/news/cmtym8yln0009rolseat7ohr1/