विचार और समीक्षा

SWE-bench Verified अब फ्रंटियर कोडिंग क्षमता क्यों नहीं मापता

AI सारांश

OpenAI ने फ्रंटियर कोडिंग क्षमता के मूल्यांकन के लिए SWE-bench Verified बेंचमार्क का उपयोग बंद करने की घोषणा की। यह बेंचमार्क GitHub के ऐतिहासिक मुद्दों पर आधारित है, और इसका कार्य वितरण अब उन वास्तविक समस्याओं को सटीक रूप से प्रतिबिंबित नहीं कर सकता जिन्हें वर्तमान AI कोडिंग सहायकों को हल करना होता है। मॉडल प्रदर्शन में सुधार के साथ, बेंचमार्क परीक्षण सेट संतृप्त हो रहा है और भेदभाव क्षमता घट रही है; मौजूदा मॉडलों का प्रदर्शन मानव स्तर के करीब पहुँच चुका है। इसलिए, टीम अधिक चुनौतीपूर्ण और वास्तविक जटिलता वाली नई मूल्यांकन विधियों की ओर बढ़ेगी।

मुख्य जानकारी

  • OpenAI ने फ्रंटियर कोडिंग क्षमता के मूल्यांकन के लिए SWE-bench Verified बेंचमार्क का उपयोग बंद…
  • बेंचमार्क परीक्षण सेट संतृप्त हो रहा है और भेदभाव क्षमता घट रही है
  • मौजूदा मॉडलों का प्रदर्शन मानव स्तर के करीब पहुँच चुका है। इसलिए,टीम अधिक चुनौतीपूर्ण और वास्तविक…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
OpenAI:官网动态(RSS · 排除企业/客户案例)
श्रेणी
विचार और समीक्षा
AI स्कोर
71
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想,你的 benchmark 体系是不是也该换了。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: SWE-bench Verified अब फ्रंटियर कोडिंग क्षमता क्यों नहीं मापता। 27 अप्रैल 2026। https://new.nat6.net/hi/news/cmog2im0800vbslr37vxebh5g/

सभी देखें →