บทความและงานวิจัย

METR อัปเดตงานวิจัย: คะแนนอัลกอริทึมประเมินความสามารถวิศวกรรมซอฟต์แวร์จริงของเอเจนต์ AI สูงเกินจริง

หัวข้อต้นฉบับ:Research Update: Algorithmic vs. Holistic Evaluation

สรุปโดย AI

METR ประเมิน Claude 3.7 Sonnet (Inspect ReAct agent) บน 18 issue จริงในสองรีโป stdlib-js และ hypothesis พบอัตราความสำเร็จตามการให้คะแนนอัลกอริทึมด้วยชุดทดสอบของผู้ดูแลอยู่ที่ 38% (±19%) แต่ใน 15 PR ที่มนุษย์ตรวจสอบ ไม่มีรายการใดที่ merge ได้โดยตรง

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
METR:Research(网页)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
61
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: METR อัปเดตงานวิจัย: คะแนนอัลกอริทึมประเมินความสามารถวิศวกรรมซอฟต์แวร์จริงของเอเจนต์ AI สูงเกินจริง 13 สิงหาคม 2025 https://new.nat6.net/th/news/cmtyo7nb703vbrog0wobc9ksx/

ดูทั้งหมด →