บทความและงานวิจัย

งานวิจัย METR: PR จาก AI ประมาณครึ่งหนึ่งที่ผ่าน SWE-bench Verified จะไม่ถูกผู้ดูแลรวม

หัวข้อต้นฉบับ:Many SWE-bench-Passing PRs Would Not Be Merged into Main

สรุปโดย AI

METR ให้ผู้ดูแล 4 คนจาก scikit-learn, Sphinx และ pytest ตรวจสอบ PR ที่สร้างโดย AI 296 รายการแบบปกปิด พบว่าแพตช์ประมาณครึ่งหนึ่งที่ผ่านการให้คะแนนอัตโนมัติของ SWE-bench Verified จะไม่ถูก merge เข้าสาขาหลัก หลังปรับมาตรฐานด้วยเส้นฐานทองคำ อัตราการ merge ของผู้ดูแลต่ำกว่าการให้คะแนนอัตโนมัติเฉลี่ย 24.2 จุดเปอร์เซ็นต์ งานวิจัยเน้นว่าแพตช์ AI ไม่ได้รับข้อเสนอแนะแบบวนซ้ำเหมือนนักพัฒนามนุษย์ จึงไม่ควรสรุปว่าเป็นขีดจำกัดความสามารถ แต่การอนุมานประโยชน์จริงของเอเจนต์จากคะแนน基準โดยตรงอาจประเมินสูงเกินไป

ข้อมูลสำคัญ

  • METR ให้ผู้ดูแล 4 คนจาก scikit-learn
  • Sphinx และ pytest ตรวจสอบ PR ที่สร้างโดย AI 296 รายการแบบปกปิด…
  • 2 จุดเปอร์เซ็นต์ งานวิจัยเน้นว่าแพตช์ AI ไม่ได้รับข้อเสนอแนะแบบวนซ้ำเหมือนนักพัฒนามนุษย์ จึงไม่ควรส…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
METR:Notes(网页)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
62
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: งานวิจัย METR: PR จาก AI ประมาณครึ่งหนึ่งที่ผ่าน SWE-bench Verified จะไม่ถูกผู้ดูแลรวม 10 มีนาคม 2026 https://new.nat6.net/th/news/cmtym8yln0009rolseat7ohr1/

ดูทั้งหมด →