งานวิจัย METR: PR จาก AI ประมาณครึ่งหนึ่งที่ผ่าน SWE-bench Verified จะไม่ถูกผู้ดูแลรวม
หัวข้อต้นฉบับ:Many SWE-bench-Passing PRs Would Not Be Merged into Main
สรุปโดย AI
METR ให้ผู้ดูแล 4 คนจาก scikit-learn, Sphinx และ pytest ตรวจสอบ PR ที่สร้างโดย AI 296 รายการแบบปกปิด พบว่าแพตช์ประมาณครึ่งหนึ่งที่ผ่านการให้คะแนนอัตโนมัติของ SWE-bench Verified จะไม่ถูก merge เข้าสาขาหลัก หลังปรับมาตรฐานด้วยเส้นฐานทองคำ อัตราการ merge ของผู้ดูแลต่ำกว่าการให้คะแนนอัตโนมัติเฉลี่ย 24.2 จุดเปอร์เซ็นต์ งานวิจัยเน้นว่าแพตช์ AI ไม่ได้รับข้อเสนอแนะแบบวนซ้ำเหมือนนักพัฒนามนุษย์ จึงไม่ควรสรุปว่าเป็นขีดจำกัดความสามารถ แต่การอนุมานประโยชน์จริงของเอเจนต์จากคะแนน基準โดยตรงอาจประเมินสูงเกินไป
ข้อมูลสำคัญ
- METR ให้ผู้ดูแล 4 คนจาก scikit-learn
- Sphinx และ pytest ตรวจสอบ PR ที่สร้างโดย AI 296 รายการแบบปกปิด…
- 2 จุดเปอร์เซ็นต์ งานวิจัยเน้นว่าแพตช์ AI ไม่ได้รับข้อเสนอแนะแบบวนซ้ำเหมือนนักพัฒนามนุษย์ จึงไม่ควรส…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- METR:Notes(网页)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 62
研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: งานวิจัย METR: PR จาก AI ประมาณครึ่งหนึ่งที่ผ่าน SWE-bench Verified จะไม่ถูกผู้ดูแลรวม 10 มีนาคม 2026 https://new.nat6.net/th/news/cmtym8yln0009rolseat7ohr1/