Makalah & Riset

Cognition merilis laporan teknis Devin pada SWE-bench

Judul asli:SWE-bench technical report

Ringkasan AI

Cognition merilis laporan teknis Devin pada SWE-bench; Devin menyelesaikan 79 masalah dari 570 kumpulan uji yang diambil secara acak, dengan tingkat keberhasilan 13,86%, lebih tinggi dari baseline terkuat sebelumnya dengan bantuan Claude 2 sebesar 4,80% dan tanpa bantuan sebesar 1,96%.

Poin utama

  • Cognition merilis laporan teknis Devin pada SWE-bench
  • Devin menyelesaikan 79 masalah dari 570 kumpulan uji yang diambil secara acak,dengan tingkat…
  • 80% dan tanpa bantuan sebesar 1

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Cognition 模型 / Devin 博客(网页)
Kategori
Makalah & Riset
Skor AI
68
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Cognition merilis laporan teknis Devin pada SWE-bench. 15 Maret 2024. https://new.nat6.net/id/news/s3ow9hpx0t1eg58icse78hr4f/

Lihat semua →