Claude 3.5 Sonnet catat rekod baharu dalam penanda aras SWE-bench Verified
Tajuk asal:Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet
Ringkasan AI
Versi naik taraf Claude 3.5 Sonnet mencapai kadar penyelesaian 49% dalam penanda aras penilaian kejuruteraan perisian SWE-bench Verified, melebihi 45% model terbaik sebelum ini. Penanda aras ini menguji keupayaan model AI menyelesaikan tugasan kejuruteraan perisian melalui isu GitHub sebenar, memerlukan model memahami, mengubah dan menguji kod dalam persekitaran tertentu, dan akhirnya disahkan melalui ujian unit asal. Reka bentuk ejen yang dibina pasukan Claude adalah ringkas, hanya mengandungi prompt, alat Bash dan alat penyuntingan, memberikan model ruang pertimbangan autonomi yang mencukupi untuk menyelesaikan masalah dengan langkah fleksibel. Kini belum ada model yang melepasi kadar penyelesaian 50% dalam penanda aras ini.
Maklumat penting
- Versi naik taraf Claude 3.
- 5 Sonnet mencapai kadar penyelesaian 49% dalam penanda aras penilaian kejuruteraan perisian…
- Penanda aras ini menguji keupayaan model AI menyelesaikan tugasan kejuruteraan perisian melalui…
- Reka bentuk ejen yang dibina pasukan Claude adalah ringkas,hanya mengandungi prompt,alat Bash dan…
- Kini belum ada model yang melepasi kadar penyelesaian 50% dalam penanda aras ini.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Tutorial dan petua
- Skor AI
- 72
Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Claude 3.5 Sonnet catat rekod baharu dalam penanda aras SWE-bench Verified. 6 Januari 2025. https://new.nat6.net/ms/news/cmorb7ml1008rslhfl2itv1d3/