Hướng dẫn & mẹo

Cognition đánh giá dòng OpenAI o1 trên tác nhân lập trình Devin và công bố phương pháp đánh giá

Tiêu đề gốc:A review of OpenAI’s o1 and how we evaluate coding agents

Tóm tắt AI

Cognition công bố kết quả ban đầu sau nhiều tuần thử nghiệm o1-mini và o1-preview trong Devin: trên bộ đánh giá nội bộ cognition-golden, Devin-Base tăng từ 25,9% với GPT-4o lên 34,6% với o1-mini và 51,8% với o1-preview, phiên bản Devin sản xuất đạt 74,2%.

Thông tin chính

  • Cognition công bố kết quả ban đầu sau nhiều tuần thử nghiệm o1-mini và o1-preview trong Devin:…
  • Devin-Base tăng từ 25,9% với GPT-4o lên 34,6% với o1-mini và 51
  • 8% với o1-preview,phiên bản Devin sản xuất đạt 74

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Cognition 模型 / Devin 博客(网页)
Danh mục
Hướng dẫn & mẹo
Điểm AI
60
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Cognition đánh giá dòng OpenAI o1 trên tác nhân lập trình Devin và công bố phương pháp đánh giá. 12 tháng 9 2024. https://new.nat6.net/vi/news/swrpyrobyv7olq6awpfmlqkld/

Xem tất cả →