PawBench: सामान्य एआई एजेंट के लिए एक मापने योग्य मापदंड
AI सारांश
Tongyi Lab ने नया मूल्यांकन बेंचमार्क PawBench v1.0 पेश किया, जो व्यक्तिगत सहायक और सामान्य एआई एजेंट परिदृश्यों के लिए है और आधार मॉडल तथा रनटाइम फ्रेमवर्क Harness को एक ही प्रणाली में शामिल कर क्रॉस-मूल्यांकन करता है। मूल्यांकन मैट्रिक्स में 9 मॉडल और 3 Harness (Hermes, OpenClaw, QwenPaw) शामिल हैं, जो 150 वास्तविक कार्यों के कुल 4050 परीक्षण इकाइयों को कवर करता है। परिणामों से पता चलता है कि QwenPaw (76.4 अंक), OpenClaw (75.4 अंक) और Hermes (70.4 अंक) के बीच उल्लेखनीय अंतर है, और Harness वातावरण का प्रभाव मॉडल से भी अधिक है। PawBench स्लाइस विश्लेषण के माध्यम से आउटपुट सत्यापन, Skill की सक्रिय खोज और Web खोज की डिफ़ॉल्ट उपलब्धता में Harness की प्रमुख कमियों को भी उजागर करता है। परियोजना ओपन-सोर्स कर दी गई है।
मुख्य जानकारी
- Tongyi Lab ने नया मूल्यांकन बेंचमार्क PawBench v1.
- 0 पेश किया,जो व्यक्तिगत सहायक और सामान्य एआई एजेंट परिदृश्यों के लिए है और आधार मॉडल तथा रनटाइम…
- 4 अंक),OpenClaw (75.
- 4 अंक) और Hermes (70.
- 4 अंक) के बीच उल्लेखनीय अंतर है,और Harness वातावरण का प्रभाव मॉडल से भी अधिक है। PawBench स्लाइस…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- 公众号:通义实验室(千问)
- श्रेणी
- उत्पाद और ऐप्स
- AI स्कोर
- 70
PawBench 把 Harness 从‘看不见的手’变成可诊断的变量,好 Harness 能让弱模型以下克上,这份评测对 Agent 框架开发者是一份必读的校验清单。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: PawBench: सामान्य एआई एजेंट के लिए एक मापने योग्य मापदंड। 5 जून 2026। https://new.nat6.net/hi/news/cmq2o71l001imsl6nw5cypu9a/