Cognition เผยแพร่รายงานเทคนิค SWE-bench ของ Devin
หัวข้อต้นฉบับ:SWE-bench technical report
สรุปโดย AI
Cognition เผยแพร่รายงานเทคนิคของ Devin บน SWE-bench โดย Devin แก้ปัญหาได้ 79 ข้อจากชุดทดสอบ 570 ข้อที่สุ่มเลือก อัตราความสำเร็จ 13.86% สูงกว่าฐานอ้างอิงที่แข็งแกร่งที่สุดก่อนหน้านี้ในแบบมีผู้ช่วยคือ Claude 2 ที่ 4.80% และแบบไม่มีผู้ช่วยที่ 1.96%
ข้อมูลสำคัญ
- Cognition เผยแพร่รายงานเทคนิคของ Devin บน SWE-bench โดย Devin แก้ปัญหาได้ 79 ข้อจากชุดทดสอบ 570…
- 86% สูงกว่าฐานอ้างอิงที่แข็งแกร่งที่สุดก่อนหน้านี้ในแบบมีผู้ช่วยคือ Claude 2 ที่ 4.
- 80% และแบบไม่มีผู้ช่วยที่ 1.
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Cognition 模型 / Devin 博客(网页)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 68
Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Cognition เผยแพร่รายงานเทคนิค SWE-bench ของ Devin 15 มีนาคม 2024 https://new.nat6.net/th/news/s3ow9hpx0t1eg58icse78hr4f/