Tutorial & Tips

Claude 3.5 Sonnet mencetak rekor pada tolok ukur SWE-bench Verified

Judul asli:Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet

Ringkasan AI

Claude 3.5 Sonnet versi peningkatan mencapai tingkat penyelesaian 49% pada tolok ukur evaluasi rekayasa perangkat lunak SWE-bench Verified, melampaui 45% yang dicapai model terbaik sebelumnya. Tolok ukur ini menguji kemampuan model AI menyelesaikan tugas rekayasa perangkat lunak melalui masalah GitHub nyata, menuntut model memahami, mengubah, dan menguji kode dalam lingkungan tertentu, lalu memverifikasinya melalui pengujian unit asli. Desain agen yang dibangun tim Claude sederhana, hanya mencakup prompt, alat Bash, dan alat penyuntingan, memberikan ruang penilaian otonom yang cukup bagi model untuk menyelesaikan masalah dengan langkah fleksibel. Saat ini belum ada model yang melampaui tingkat penyelesaian 50% pada tolok ukur tersebut.

Poin utama

  • Claude 3.
  • 5 Sonnet versi peningkatan mencapai tingkat penyelesaian 49% pada tolok ukur evaluasi rekayasa…
  • Tolok ukur ini menguji kemampuan model AI menyelesaikan tugas rekayasa perangkat lunak melalui…
  • Desain agen yang dibangun tim Claude sederhana,hanya mencakup prompt,alat Bash,dan alat…
  • Saat ini belum ada model yang melampaui tingkat penyelesaian 50% pada tolok ukur tersebut.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
Kategori
Tutorial & Tips
Skor AI
72
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Claude 3.5 Sonnet mencetak rekor pada tolok ukur SWE-bench Verified. 6 Januari 2025. https://new.nat6.net/id/news/cmorb7ml1008rslhfl2itv1d3/

Lihat semua →