METR เปิดตัว RE-Bench: เปรียบเทียบความสามารถด้าน AI R&D ของเอเจนต์โมเดลภาษากับผู้เชี่ยวชาญมนุษย์
หัวข้อต้นฉบับ:Evaluating frontier AI R&D capabilities of language model agents against human experts
สรุปโดย AI
METR เปิดตัว基準 RE-Bench วัดผลผู้เชี่ยวชาญมนุษย์และเอเจนต์โมเดลแนวหน้าในสภาพแวดล้อมวิศวกรรมวิจัย ML 7 แบบ พร้อมเผยแพร่บันทึกการทดลองของผู้เชี่ยวชาญมนุษย์ 71 ครั้ง และการรันทั้งหมดของ Claude 3.5 Sonnet และ o1-preview
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- METR:Research(网页)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 62
原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: METR เปิดตัว RE-Bench: เปรียบเทียบความสามารถด้าน AI R&D ของเอเจนต์โมเดลภาษากับผู้เชี่ยวชาญมนุษย์ 22 พฤศจิกายน 2024 https://new.nat6.net/th/news/cmtyo7nb703vkrog0y9c82c3h/