Cognition ประเมิน OpenAI o1 บนเอเจนต์เขียนโค้ด Devin และเปิดเผยวิธีการประเมิน
หัวข้อต้นฉบับ:A review of OpenAI’s o1 and how we evaluate coding agents
สรุปโดย AI
Cognition เปิดเผยผลเบื้องต้นจากการทดสอบ o1-mini และ o1-preview ใน Devin เป็นเวลาหลายสัปดาห์ บน基準ภายใน cognition-golden พบว่า Devin-Base เพิ่มจาก 25.9% ของ GPT-4o เป็น 34.6% ด้วย o1-mini และ 51.8% ด้วย o1-preview ขณะที่ Devin เวอร์ชันโปรดักชันอยู่ที่ 74.2%
ข้อมูลสำคัญ
- Cognition เปิดเผยผลเบื้องต้นจากการทดสอบ o1-mini และ o1-preview ใน Devin เป็นเวลาหลายสัปดาห์ บน基準ภาย…
- 9% ของ GPT-4o เป็น 34.
- 6% ด้วย o1-mini และ 51.
- 8% ด้วย o1-preview ขณะที่ Devin เวอร์ชันโปรดักชันอยู่ที่ 74.
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Cognition 模型 / Devin 博客(网页)
- หมวดหมู่
- บทแนะนำและเทคนิค
- คะแนน AI
- 60
Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Cognition ประเมิน OpenAI o1 บนเอเจนต์เขียนโค้ด Devin และเปิดเผยวิธีการประเมิน 12 กันยายน 2024 https://new.nat6.net/th/news/swrpyrobyv7olq6awpfmlqkld/