Mga Papel at Pananaliksik

Pagsukat sa infrastructure interference sa agentic coding evaluation

Orihinal na pamagat:Quantifying infrastructure noise in agentic coding evals

AI summary

Natuklasan ng pananaliksik na sa agentic coding benchmarks tulad ng SWE-bench, ang epekto ng pagkakaiba sa infrastructure configuration sa scoring ng modelo ay maaaring lumampas sa maliit na agwat ng score sa pagitan ng mga nangungunang modelo sa leaderboard. Ipinapakita ng internal experiments na sa Terminal-Bench 2.0, may 6% na pagkakaiba sa success rate sa pagitan ng pinakamahigpit at pinakamaluwag na resource settings. Ang mahigpit na paglilimita sa resources ay nagdudulot ng halos 6% ng tasks na mabigo dahil sa hindi inaasahang pagtatapos ng container, habang sa maluwag na configuration, ang error rate na ito ay bumababa sa 0.5%. Kapag ang resource margin ay lumampas nang 3 beses sa benchmark specification, nagagawa pa ng agent na tapusin ang mga task na dati ay hindi kayang lutasin sa tulong ng dagdag na resources. Ipinapakita nito na hindi lamang stability ng test ang naaapektuhan ng evaluation environment, kundi binabago rin nito ang aktwal na dimensyon ng kakayahan na sinusukat ng benchmark test.

Mahahalagang impormasyon

  • Natuklasan ng pananaliksik na sa agentic coding benchmarks tulad ng SWE-bench,ang epekto ng…
  • Ipinapakita ng internal experiments na sa Terminal-Bench 2.
  • 0,may 6% na pagkakaiba sa success rate sa pagitan ng pinakamahigpit at pinakamaluwag na resource…
  • Ang mahigpit na paglilimita sa resources ay nagdudulot ng halos 6% ng tasks na mabigo dahil sa…
  • Kapag ang resource margin ay lumampas nang 3 beses sa benchmark specification,nagagawa pa ng agent…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
Kategorya
Mga Papel at Pananaliksik
AI na marka
74
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Pagsukat sa infrastructure interference sa agentic coding evaluation. 5 Pebrero 2026. https://new.nat6.net/fil/news/cmorb7ml0008bslhfiqfwufv7/

Tingnan lahat →