एजेंटिक कोडिंग मूल्यांकन में इन्फ्रास्ट्रक्चर व्यवधान का मात्रात्मक विश्लेषण
मूल शीर्षक:Quantifying infrastructure noise in agentic coding evals
AI सारांश
शोध से पता चलता है कि SWE-bench जैसे एजेंटिक कोडिंग बेंचमार्क में इन्फ्रास्ट्रक्चर कॉन्फ़िगरेशन में अंतर का मॉडल स्कोर पर प्रभाव लीडरबोर्ड पर शीर्ष मॉडलों के बीच के छोटे अंतर से अधिक हो सकता है। आंतरिक प्रयोगों में Terminal-Bench 2.0 पर सबसे कठोर और सबसे ढीले संसाधन सेटिंग्स के बीच सफलता दर में 6% का अंतर देखा गया। कठोर संसाधन सीमाओं के कारण लगभग 6% कार्य कंटेनर के अप्रत्याशित रूप से बंद होने से विफल हुए, जबकि ढीले कॉन्फ़िगरेशन में यह त्रुटि दर 0.5% तक गिर गई। जब संसाधन मार्जिन बेंचमार्क विनिर्देश से 3 गुना अधिक था, तो एजेंट अतिरिक्त संसाधनों की सहायता से उन कार्यों को भी सफलतापूर्वक पूरा कर सके जो मूल रूप से हल नहीं हो सकते थे। यह दर्शाता है कि मूल्यांकन वातावरण न केवल परीक्षण स्थिरता को प्रभावित करता है, बल्कि उन क्षमता आयामों को भी बदल देता है जिन्हें बेंचमार्क वास्तव में मापता है।
मुख्य जानकारी
- शोध से पता चलता है कि SWE-bench जैसे एजेंटिक कोडिंग बेंचमार्क में इन्फ्रास्ट्रक्चर कॉन्फ़िगरेशन…
- 0 पर सबसे कठोर और सबसे ढीले संसाधन सेटिंग्स के बीच सफलता दर में 6% का अंतर देखा गया। कठोर संसाधन…
- 5% तक गिर गई। जब संसाधन मार्जिन बेंचमार्क विनिर्देश से 3 गुना अधिक था,तो एजेंट अतिरिक्त संसाधनों…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 74
Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: एजेंटिक कोडिंग मूल्यांकन में इन्फ्रास्ट्रक्चर व्यवधान का मात्रात्मक विश्लेषण। 5 फ़रवरी 2026। https://new.nat6.net/hi/news/cmorb7ml0008bslhfiqfwufv7/