Pagsukat sa infrastructure interference sa agentic coding evaluation
Orihinal na pamagat:Quantifying infrastructure noise in agentic coding evals
AI summary
Natuklasan ng pananaliksik na sa agentic coding benchmarks tulad ng SWE-bench, ang epekto ng pagkakaiba sa infrastructure configuration sa scoring ng modelo ay maaaring lumampas sa maliit na agwat ng score sa pagitan ng mga nangungunang modelo sa leaderboard. Ipinapakita ng internal experiments na sa Terminal-Bench 2.0, may 6% na pagkakaiba sa success rate sa pagitan ng pinakamahigpit at pinakamaluwag na resource settings. Ang mahigpit na paglilimita sa resources ay nagdudulot ng halos 6% ng tasks na mabigo dahil sa hindi inaasahang pagtatapos ng container, habang sa maluwag na configuration, ang error rate na ito ay bumababa sa 0.5%. Kapag ang resource margin ay lumampas nang 3 beses sa benchmark specification, nagagawa pa ng agent na tapusin ang mga task na dati ay hindi kayang lutasin sa tulong ng dagdag na resources. Ipinapakita nito na hindi lamang stability ng test ang naaapektuhan ng evaluation environment, kundi binabago rin nito ang aktwal na dimensyon ng kakayahan na sinusukat ng benchmark test.
Mahahalagang impormasyon
- Natuklasan ng pananaliksik na sa agentic coding benchmarks tulad ng SWE-bench,ang epekto ng…
- Ipinapakita ng internal experiments na sa Terminal-Bench 2.
- 0,may 6% na pagkakaiba sa success rate sa pagitan ng pinakamahigpit at pinakamaluwag na resource…
- Ang mahigpit na paglilimita sa resources ay nagdudulot ng halos 6% ng tasks na mabigo dahil sa…
- Kapag ang resource margin ay lumampas nang 3 beses sa benchmark specification,nagagawa pa ng agent…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 74
Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Pagsukat sa infrastructure interference sa agentic coding evaluation. 5 Pebrero 2026. https://new.nat6.net/fil/news/cmorb7ml0008bslhfiqfwufv7/