Makalah & Riset

Studi METR: sekitar separuh PR AI yang lolos SWE-bench Verified tidak akan digabungkan maintainer

Judul asli:Many SWE-bench-Passing PRs Would Not Be Merged into Main

Ringkasan AI

METR meminta 4 maintainer scikit-learn, Sphinx, dan pytest meninjau secara blind 296 PR yang dihasilkan AI, dan menemukan sekitar separuh patch yang lolos penilaian otomatis SWE-bench Verified tidak akan digabungkan ke cabang utama; setelah dinormalisasi dengan baseline gold standard, tingkat penggabungan maintainer rata-rata 24,2 poin persentase lebih rendah daripada penilaian otomatis. Studi menekankan patch AI tidak memperoleh umpan balik iteratif seperti pengembang manusia, sehingga tidak dapat disimpulkan sebagai batas kemampuan, tetapi menyimpulkan kegunaan aktual agen langsung dari skor benchmark berpotensi terlalu tinggi.

Poin utama

  • METR meminta 4 maintainer scikit-learn,Sphinx,dan pytest meninjau secara blind 296 PR yang…
  • setelah dinormalisasi dengan baseline gold standard,tingkat penggabungan maintainer rata-rata 24,2…
  • Studi menekankan patch AI tidak memperoleh umpan balik iteratif seperti pengembang…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
METR:Notes(网页)
Kategori
Makalah & Riset
Skor AI
62
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Studi METR: sekitar separuh PR AI yang lolos SWE-bench Verified tidak akan digabungkan maintainer. 10 Maret 2026. https://new.nat6.net/id/news/cmtym8yln0009rolseat7ohr1/

Lihat semua →