पेपर और शोध

METR अध्ययन: SWE-bench Verified पास करने वाले लगभग आधे AI PR मेंटेनर्स द्वारा मर्ज नहीं किए जाएंगे

मूल शीर्षक:Many SWE-bench-Passing PRs Would Not Be Merged into Main

AI सारांश

METR ने scikit-learn, Sphinx और pytest के 4 मेंटेनर्स से 296 AI-जनरेटेड PR की ब्लाइंड समीक्षा कराई। इसमें पाया गया कि SWE-bench Verified ऑटोमेटेड स्कोरिंग पास करने वाले लगभग आधे पैच मुख्य शाखा में मर्ज नहीं किए जाएंगे; गोल्ड-स्टैंडर्ड बेसलाइन सामान्यीकरण के बाद, मेंटेनर्स की मर्ज दर ऑटोमेटेड स्कोरिंग से औसतन 24.2 प्रतिशत अंक कम रही। अध्ययन में इस बात पर जोर दिया गया है कि AI पैच को मानव डेवलपर्स की तरह पुनरावृत्तीय फीडबैक नहीं मिला, इसलिए इसे क्षमता की सीमा नहीं माना जाना चाहिए, लेकिन सीधे बेंचमार्क स्कोर के आधार पर एआई एजेंट की वास्तविक उपयोगिता का अनुमान लगाना अतिशयोक्ति हो सकता है।

मुख्य जानकारी

  • METR ने scikit-learn,Sphinx और pytest के 4 मेंटेनर्स से 296 AI-जनरेटेड PR की ब्लाइंड समीक्षा कराई।…
  • गोल्ड-स्टैंडर्ड बेसलाइन सामान्यीकरण के बाद,मेंटेनर्स की मर्ज दर ऑटोमेटेड स्कोरिंग से औसतन 24.
  • 2 प्रतिशत अंक कम रही। अध्ययन में इस बात पर जोर दिया गया है कि AI पैच को मानव डेवलपर्स की तरह…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
METR:Notes(网页)
श्रेणी
पेपर और शोध
AI स्कोर
62
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: METR अध्ययन: SWE-bench Verified पास करने वाले लगभग आधे AI PR मेंटेनर्स द्वारा मर्ज नहीं किए जाएंगे। 10 मार्च 2026। https://new.nat6.net/hi/news/cmtym8yln0009rolseat7ohr1/

सभी देखें →