บทความและงานวิจัย

Cognition เผยแพร่รายงานเทคนิค SWE-bench ของ Devin

หัวข้อต้นฉบับ:SWE-bench technical report

สรุปโดย AI

Cognition เผยแพร่รายงานเทคนิคของ Devin บน SWE-bench โดย Devin แก้ปัญหาได้ 79 ข้อจากชุดทดสอบ 570 ข้อที่สุ่มเลือก อัตราความสำเร็จ 13.86% สูงกว่าฐานอ้างอิงที่แข็งแกร่งที่สุดก่อนหน้านี้ในแบบมีผู้ช่วยคือ Claude 2 ที่ 4.80% และแบบไม่มีผู้ช่วยที่ 1.96%

ข้อมูลสำคัญ

  • Cognition เผยแพร่รายงานเทคนิคของ Devin บน SWE-bench โดย Devin แก้ปัญหาได้ 79 ข้อจากชุดทดสอบ 570…
  • 86% สูงกว่าฐานอ้างอิงที่แข็งแกร่งที่สุดก่อนหน้านี้ในแบบมีผู้ช่วยคือ Claude 2 ที่ 4.
  • 80% และแบบไม่มีผู้ช่วยที่ 1.

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Cognition 模型 / Devin 博客(网页)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
68
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Cognition เผยแพร่รายงานเทคนิค SWE-bench ของ Devin 15 มีนาคม 2024 https://new.nat6.net/th/news/s3ow9hpx0t1eg58icse78hr4f/

ดูทั้งหมด →