Kertas penyelidikan

Cognition terbitkan laporan teknikal Devin pada SWE-bench

Tajuk asal:SWE-bench technical report

Ringkasan AI

Cognition menerbitkan laporan teknikal Devin pada SWE-bench; Devin menyelesaikan 79 masalah daripada 570 set ujian yang dipilih secara rawak, dengan kadar kejayaan 13.86%, lebih tinggi daripada baseline tetapan bantuan terkuat sebelum ini Claude 2 pada 4.80% dan 1.96% tanpa bantuan.

Maklumat penting

  • Cognition menerbitkan laporan teknikal Devin pada SWE-bench
  • Devin menyelesaikan 79 masalah daripada 570 set ujian yang dipilih secara rawak,dengan kadar…
  • 86%,lebih tinggi daripada baseline tetapan bantuan terkuat sebelum ini Claude 2 pada 4.
  • 80% dan 1.
  • 96% tanpa bantuan.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Cognition 模型 / Devin 博客(网页)
Kategori
Kertas penyelidikan
Skor AI
68
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Cognition terbitkan laporan teknikal Devin pada SWE-bench. 15 Mac 2024. https://new.nat6.net/ms/news/s3ow9hpx0t1eg58icse78hr4f/

Lihat Semua →