Cognition terbitkan laporan teknikal Devin pada SWE-bench
Tajuk asal:SWE-bench technical report
Ringkasan AI
Cognition menerbitkan laporan teknikal Devin pada SWE-bench; Devin menyelesaikan 79 masalah daripada 570 set ujian yang dipilih secara rawak, dengan kadar kejayaan 13.86%, lebih tinggi daripada baseline tetapan bantuan terkuat sebelum ini Claude 2 pada 4.80% dan 1.96% tanpa bantuan.
Maklumat penting
- Cognition menerbitkan laporan teknikal Devin pada SWE-bench
- Devin menyelesaikan 79 masalah daripada 570 set ujian yang dipilih secara rawak,dengan kadar…
- 86%,lebih tinggi daripada baseline tetapan bantuan terkuat sebelum ini Claude 2 pada 4.
- 80% dan 1.
- 96% tanpa bantuan.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Cognition 模型 / Devin 博客(网页)
- Kategori
- Kertas penyelidikan
- Skor AI
- 68
Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Cognition terbitkan laporan teknikal Devin pada SWE-bench. 15 Mac 2024. https://new.nat6.net/ms/news/s3ow9hpx0t1eg58icse78hr4f/