METR nghiên cứu: khoảng một nửa PR AI vượt qua SWE-bench Verified không được maintainer hợp nhất
Tiêu đề gốc:Many SWE-bench-Passing PRs Would Not Be Merged into Main
Tóm tắt AI
METR để 4 maintainer của scikit-learn, Sphinx, pytest đánh giá mù 296 PR do AI tạo, phát hiện khoảng một nửa bản vá vượt qua chấm điểm tự động SWE-bench Verified không được hợp nhất vào nhánh chính; sau khi chuẩn hóa theo đường cơ sở vàng, tỷ lệ hợp nhất của maintainer trung bình thấp hơn chấm điểm tự động 24,2 điểm phần trăm. Nghiên cứu nhấn mạnh bản vá AI không nhận được phản hồi lặp như lập trình viên con người, không nên dựa vào đó khẳng định là giới hạn năng lực, nhưng suy đoán công dụng thực tế của agent trực tiếp theo điểm chuẩn có thể bị đánh giá cao.
Thông tin chính
- METR để 4 maintainer của scikit-learn,Sphinx,pytest đánh giá mù 296 PR do AI tạo,phát hiện khoảng…
- sau khi chuẩn hóa theo đường cơ sở vàng,tỷ lệ hợp nhất của maintainer trung bình thấp hơn chấm…
- Nghiên cứu nhấn mạnh bản vá AI không nhận được phản hồi lặp như lập trình viên con người,không nên…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- METR:Notes(网页)
- Danh mục
- Bài báo & nghiên cứu
- Điểm AI
- 62
研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: METR nghiên cứu: khoảng một nửa PR AI vượt qua SWE-bench Verified không được maintainer hợp nhất. 10 tháng 3 2026. https://new.nat6.net/vi/news/cmtym8yln0009rolseat7ohr1/