METR शोध अपडेट: एल्गोरिदमिक स्कोरिंग ने एआई एजेंट की वास्तविक सॉफ्टवेयर इंजीनियरिंग क्षमताओं को बढ़ा-चढ़ाकर आंका
मूल शीर्षक:Research Update: Algorithmic vs. Holistic Evaluation
AI सारांश
METR ने stdlib-js और hypothesis रिपॉजिटरी में 18 वास्तविक issue पर Claude 3.7 Sonnet (Inspect ReAct एजेंट) का मूल्यांकन किया, जहां मेंटेनर टेस्ट केस पर एल्गोरिदमिक स्कोरिंग सफलता दर 38% (±19%) थी, लेकिन मैन्युअल रूप से समीक्षित 15 PR में से कोई भी सीधे मर्ज करने योग्य नहीं था
मुख्य जानकारी
- METR ने stdlib-js और hypothesis रिपॉजिटरी में 18 वास्तविक issue पर Claude 3.
- 7 Sonnet (Inspect ReAct एजेंट) का मूल्यांकन किया,जहां मेंटेनर टेस्ट केस पर एल्गोरिदमिक स्कोरिंग…
- लेकिन मैन्युअल रूप से समीक्षित 15 PR में से कोई भी सीधे मर्ज करने योग्य नहीं था
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- METR:Research(网页)
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 61
METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: METR शोध अपडेट: एल्गोरिदमिक स्कोरिंग ने एआई एजेंट की वास्तविक सॉफ्टवेयर इंजीनियरिंग क्षमताओं को बढ़ा-चढ़ाकर आंका। 13 अगस्त 2025। https://new.nat6.net/hi/news/cmtyo7nb703vbrog0wobc9ksx/