บทแนะนำและเทคนิค

Cognition ประเมิน OpenAI o1 บนเอเจนต์เขียนโค้ด Devin และเปิดเผยวิธีการประเมิน

หัวข้อต้นฉบับ:A review of OpenAI’s o1 and how we evaluate coding agents

สรุปโดย AI

Cognition เปิดเผยผลเบื้องต้นจากการทดสอบ o1-mini และ o1-preview ใน Devin เป็นเวลาหลายสัปดาห์ บน基準ภายใน cognition-golden พบว่า Devin-Base เพิ่มจาก 25.9% ของ GPT-4o เป็น 34.6% ด้วย o1-mini และ 51.8% ด้วย o1-preview ขณะที่ Devin เวอร์ชันโปรดักชันอยู่ที่ 74.2%

ข้อมูลสำคัญ

  • Cognition เปิดเผยผลเบื้องต้นจากการทดสอบ o1-mini และ o1-preview ใน Devin เป็นเวลาหลายสัปดาห์ บน基準ภาย…
  • 9% ของ GPT-4o เป็น 34.
  • 6% ด้วย o1-mini และ 51.
  • 8% ด้วย o1-preview ขณะที่ Devin เวอร์ชันโปรดักชันอยู่ที่ 74.

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Cognition 模型 / Devin 博客(网页)
หมวดหมู่
บทแนะนำและเทคนิค
คะแนน AI
60
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Cognition ประเมิน OpenAI o1 บนเอเจนต์เขียนโค้ด Devin และเปิดเผยวิธีการประเมิน 12 กันยายน 2024 https://new.nat6.net/th/news/swrpyrobyv7olq6awpfmlqkld/

ดูทั้งหมด →