Mga Tutorial at Tip

Claude 3.5 Sonnet, nagtakda ng bagong record sa SWE-bench Verified benchmark

Orihinal na pamagat:Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet

AI summary

Nakamit ng upgraded na Claude 3.5 Sonnet ang 49% na solve rate sa software engineering evaluation benchmark na SWE-bench Verified, na lumampas sa 45% ng dating pinakamahusay na modelo. Sinusubok ng benchmark na ito ang kakayahan ng AI model na tapusin ang software engineering tasks gamit ang totoong GitHub issues, na nangangailangan sa modelo na maunawaan, baguhin, at i-test ang code sa ibinigay na environment, at sa huli ay ma-verify sa pamamagitan ng orihinal na unit tests. Simple lang ang disenyo ng agent na binuo ng Claude team, may prompt, Bash tool, at edit tool lamang, na nagbibigay sa modelo ng sapat na espasyo para sa sariling paghuhusga at paglutas ng problema sa flexible na mga hakbang. Wala pang modelo na lumampas sa 50% na solve rate sa benchmark na ito.

Mahahalagang impormasyon

  • Nakamit ng upgraded na Claude 3.
  • 5 Sonnet ang 49% na solve rate sa software engineering evaluation benchmark na SWE-bench…
  • Sinusubok ng benchmark na ito ang kakayahan ng AI model na tapusin ang software engineering tasks…
  • Simple lang ang disenyo ng agent na binuo ng Claude team,may prompt,Bash tool,at edit tool…
  • Wala pang modelo na lumampas sa 50% na solve rate sa benchmark na ito.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
Kategorya
Mga Tutorial at Tip
AI na marka
72
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Claude 3.5 Sonnet, nagtakda ng bagong record sa SWE-bench Verified benchmark. 6 Enero 2025. https://new.nat6.net/fil/news/cmorb7ml1008rslhfl2itv1d3/

Tingnan lahat →