Bài báo & nghiên cứu

Cognition công bố báo cáo kỹ thuật về Devin trên SWE-bench

Tiêu đề gốc:SWE-bench technical report

Tóm tắt AI

Cognition công bố báo cáo kỹ thuật về Devin trên SWE-bench: Devin giải quyết 79 vấn đề trong 570 bài kiểm tra được lấy mẫu ngẫu nhiên, đạt tỷ lệ thành công 13,86%, cao hơn mức 4,80% của Claude 2 — baseline mạnh nhất trước đó trong thiết lập có hỗ trợ — và 1,96% trong thiết lập không hỗ trợ.

Thông tin chính

  • Cognition công bố báo cáo kỹ thuật về Devin trên SWE-bench: Devin giải quyết 79 vấn đề trong 570…
  • đạt tỷ lệ thành công 13
  • cao hơn mức 4,80% của Claude 2 — baseline mạnh nhất trước đó trong thiết lập có hỗ trợ — và 1,96%…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Cognition 模型 / Devin 博客(网页)
Danh mục
Bài báo & nghiên cứu
Điểm AI
68
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Cognition công bố báo cáo kỹ thuật về Devin trên SWE-bench. 15 tháng 3 2024. https://new.nat6.net/vi/news/s3ow9hpx0t1eg58icse78hr4f/

Xem tất cả →