Claude 3.5 Sonnet mencetak rekor pada tolok ukur SWE-bench Verified
Judul asli:Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet
Ringkasan AI
Claude 3.5 Sonnet versi peningkatan mencapai tingkat penyelesaian 49% pada tolok ukur evaluasi rekayasa perangkat lunak SWE-bench Verified, melampaui 45% yang dicapai model terbaik sebelumnya. Tolok ukur ini menguji kemampuan model AI menyelesaikan tugas rekayasa perangkat lunak melalui masalah GitHub nyata, menuntut model memahami, mengubah, dan menguji kode dalam lingkungan tertentu, lalu memverifikasinya melalui pengujian unit asli. Desain agen yang dibangun tim Claude sederhana, hanya mencakup prompt, alat Bash, dan alat penyuntingan, memberikan ruang penilaian otonom yang cukup bagi model untuk menyelesaikan masalah dengan langkah fleksibel. Saat ini belum ada model yang melampaui tingkat penyelesaian 50% pada tolok ukur tersebut.
Poin utama
- Claude 3.
- 5 Sonnet versi peningkatan mencapai tingkat penyelesaian 49% pada tolok ukur evaluasi rekayasa…
- Tolok ukur ini menguji kemampuan model AI menyelesaikan tugas rekayasa perangkat lunak melalui…
- Desain agen yang dibangun tim Claude sederhana,hanya mencakup prompt,alat Bash,dan alat…
- Saat ini belum ada model yang melampaui tingkat penyelesaian 50% pada tolok ukur tersebut.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Tutorial & Tips
- Skor AI
- 72
Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Claude 3.5 Sonnet mencetak rekor pada tolok ukur SWE-bench Verified. 6 Januari 2025. https://new.nat6.net/id/news/cmorb7ml1008rslhfl2itv1d3/