METR ने RE-Bench किया रिलीज़: भाषा मॉडल एजेंटों और मानव विशेषज्ञों की AI अनुसंधान व विकास क्षमताओं की तुलना
मूल शीर्षक:Evaluating frontier AI R&D capabilities of language model agents against human experts
AI सारांश
METR ने 7 ML शोध इंजीनियरिंग वातावरणों के साथ मानव विशेषज्ञों और अग्रणी मॉडल एजेंटों के प्रदर्शन को मापने के लिए RE-Bench बेंचमार्क रिलीज़ किया, और 71 मानव विशेषज्ञ प्रयासों के साथ-साथ Claude 3.5 Sonnet और o1-preview के सभी रन ट्रांसक्रिप्ट सार्वजनिक किए
मुख्य जानकारी
- METR ने 7 ML शोध इंजीनियरिंग वातावरणों के साथ मानव विशेषज्ञों और अग्रणी मॉडल एजेंटों के प्रदर्शन…
- और 71 मानव विशेषज्ञ प्रयासों के साथ-साथ Claude 3.
- 5 Sonnet और o1-preview के सभी रन ट्रांसक्रिप्ट सार्वजनिक किए
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- METR:Research(网页)
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 62
原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: METR ने RE-Bench किया रिलीज़: भाषा मॉडल एजेंटों और मानव विशेषज्ञों की AI अनुसंधान व विकास क्षमताओं की तुलना। 22 नवंबर 2024। https://new.nat6.net/hi/news/cmtyo7nb703vkrog0y9c82c3h/