पेपर और शोध

OpenAI के SWE-Bench Pro ऑडिट में लगभग 30% मूल्यांकन कार्यों में खामियां मिलीं

मूल शीर्षक:Separating signal from noise in coding evaluations

AI सारांश

OpenAI ने कोडिंग बेंचमार्क SWE-Bench Pro का विस्तृत ऑडिट किया और पाया कि लगभग 30% कार्य दोषपूर्ण हैं। 731 कार्यों के सार्वजनिक सबसेट में, अग्रणी मॉडलों की पास दर आठ महीनों में 23.3% से बढ़कर 80.3% हो गई है, लेकिन डेटा गुणवत्ता जांच से पता चला कि कई कार्यों में परीक्षण अत्यधिक कठोर, अपर्याप्त प्रॉम्प्ट विवरण, अधूरा कवरेज या भ्रामक संकेत जैसी समस्याएं हैं। OpenAI ने डेवलपर्स को परिणामों की सावधानीपूर्वक समीक्षा करने की सलाह दी है और डेटा गुणवत्ता जांच को बड़े पैमाने पर करने में एआई एजेंटों की उपयोगिता पर प्रकाश डाला है।

मुख्य जानकारी

  • OpenAI ने कोडिंग बेंचमार्क SWE-Bench Pro का विस्तृत ऑडिट किया और पाया कि लगभग 30% कार्य दोषपूर्ण…
  • 3% से बढ़कर 80.
  • 3% हो गई है,लेकिन डेटा गुणवत्ता जांच से पता चला कि कई कार्यों में परीक्षण अत्यधिक कठोर,अपर्याप्त…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
OpenAI:官网动态(RSS · 排除企业/客户案例)
श्रेणी
पेपर और शोध
AI स्कोर
70
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: OpenAI के SWE-Bench Pro ऑडिट में लगभग 30% मूल्यांकन कार्यों में खामियां मिलीं। 8 जुलाई 2026। https://new.nat6.net/hi/news/cmrcigf5k01bqihx54i8oph9u/

सभी देखें →