पेपर और शोध

ITBench-AA: पहले एजेंटिक एंटरप्राइज़ IT कार्य बेंचमार्क में सभी फ्रंटियर बड़े मॉडलों का स्कोर 50% से कम

मूल शीर्षक:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM

AI सारांश

Artificial Analysis और IBM द्वारा लॉन्च किए गए ITBench-AA SRE बेंचमार्क से पता चलता है कि सभी फ्रंटियर बड़े मॉडलों का स्कोर 50% से अधिक नहीं है। Claude Opus 4.7 (अनुकूली तर्क, अधिकतम प्रयास) 47% के साथ आगे है, GPT-5.5 (xhigh) और Qwen3.7 Max क्रमशः 46% और 42% स्कोर करते हैं। इस परीक्षण में 59 एजेंटिक कार्य शामिल हैं जिनमें Shell कमांड के माध्यम से Kubernetes इवेंट स्नैपशॉट की जांच करनी होती है और मूल कारण निदान प्रस्तुत करना होता है। मुख्य निष्कर्ष यह है कि मॉडल तर्क दौरों में लगभग 3 गुना अंतर है, लेकिन लंबे ट्रेस अधिक सटीकता में परिवर्तित नहीं होते; अत्यधिक जांच करने वाले मॉडल गलत रिपोर्ट प्रस्तुत करने के कारण दंडित होते हैं। लागत के संदर्भ में, ओपन-सोर्स मॉडल Gemma 4 31B (Reasoning) ने प्रति कार्य $0.14 की लागत पर 37% स्कोर प्राप्त किया, जो अधिक लागत वाले लेकिन कम स्कोर वाले क्लोज़्ड-सोर्स मॉडलों से बेहतर है।

मुख्य जानकारी

  • Artificial Analysis और IBM द्वारा लॉन्च किए गए ITBench-AA SRE बेंचमार्क से पता चलता है कि सभी…
  • 7 (अनुकूली तर्क,अधिकतम प्रयास) 47% के साथ आगे है,GPT-5.
  • 5 (xhigh) और Qwen3.
  • 7 Max क्रमशः 46% और 42% स्कोर करते हैं। इस परीक्षण में 59 एजेंटिक कार्य शामिल हैं जिनमें Shell…
  • अत्यधिक जांच करने वाले मॉडल गलत रिपोर्ट प्रस्तुत करने के कारण दंडित होते हैं। लागत के संदर्भ…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Hugging Face 社区博客(混合发现)
श्रेणी
पेपर और शोध
AI स्कोर
70
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: ITBench-AA: पहले एजेंटिक एंटरप्राइज़ IT कार्य बेंचमार्क में सभी फ्रंटियर बड़े मॉडलों का स्कोर 50% से कम। 28 मई 2026। https://new.nat6.net/hi/news/cmpobyo1b04qeslv4jzefv5eu/

सभी देखें →