METR อัปเดตงานวิจัย: คะแนนอัลกอริทึมประเมินความสามารถวิศวกรรมซอฟต์แวร์จริงของเอเจนต์ AI สูงเกินจริง
หัวข้อต้นฉบับ:Research Update: Algorithmic vs. Holistic Evaluation
สรุปโดย AI
METR ประเมิน Claude 3.7 Sonnet (Inspect ReAct agent) บน 18 issue จริงในสองรีโป stdlib-js และ hypothesis พบอัตราความสำเร็จตามการให้คะแนนอัลกอริทึมด้วยชุดทดสอบของผู้ดูแลอยู่ที่ 38% (±19%) แต่ใน 15 PR ที่มนุษย์ตรวจสอบ ไม่มีรายการใดที่ merge ได้โดยตรง
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- METR:Research(网页)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 61
METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: METR อัปเดตงานวิจัย: คะแนนอัลกอริทึมประเมินความสามารถวิศวกรรมซอฟต์แวร์จริงของเอเจนต์ AI สูงเกินจริง 13 สิงหาคม 2025 https://new.nat6.net/th/news/cmtyo7nb703vbrog0wobc9ksx/