Bài báo & nghiên cứu

METR nghiên cứu: khoảng một nửa PR AI vượt qua SWE-bench Verified không được maintainer hợp nhất

Tiêu đề gốc:Many SWE-bench-Passing PRs Would Not Be Merged into Main

Tóm tắt AI

METR để 4 maintainer của scikit-learn, Sphinx, pytest đánh giá mù 296 PR do AI tạo, phát hiện khoảng một nửa bản vá vượt qua chấm điểm tự động SWE-bench Verified không được hợp nhất vào nhánh chính; sau khi chuẩn hóa theo đường cơ sở vàng, tỷ lệ hợp nhất của maintainer trung bình thấp hơn chấm điểm tự động 24,2 điểm phần trăm. Nghiên cứu nhấn mạnh bản vá AI không nhận được phản hồi lặp như lập trình viên con người, không nên dựa vào đó khẳng định là giới hạn năng lực, nhưng suy đoán công dụng thực tế của agent trực tiếp theo điểm chuẩn có thể bị đánh giá cao.

Thông tin chính

  • METR để 4 maintainer của scikit-learn,Sphinx,pytest đánh giá mù 296 PR do AI tạo,phát hiện khoảng…
  • sau khi chuẩn hóa theo đường cơ sở vàng,tỷ lệ hợp nhất của maintainer trung bình thấp hơn chấm…
  • Nghiên cứu nhấn mạnh bản vá AI không nhận được phản hồi lặp như lập trình viên con người,không nên…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
METR:Notes(网页)
Danh mục
Bài báo & nghiên cứu
Điểm AI
62
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: METR nghiên cứu: khoảng một nửa PR AI vượt qua SWE-bench Verified không được maintainer hợp nhất. 10 tháng 3 2026. https://new.nat6.net/vi/news/cmtym8yln0009rolseat7ohr1/

Xem tất cả →