विचार और समीक्षा

AI मूल्यांकन बन रहा है नई कंप्यूट शक्ति की बाधा

मूल शीर्षक:AI evals are becoming the new compute bottleneck

AI सारांश

AI मूल्यांकन की लागत महत्वपूर्ण सीमा पार कर चुकी है और इसकी पहुंच को नया आकार दे रही है। Holistic Agent Leaderboard ने लगभग 40,000 डॉलर खर्च कर 20,000 से अधिक एआई एजेंट परीक्षण चलाए, जिसमें एक फ्रंटियर मॉडल परीक्षण की लागत 2,829 डॉलर तक पहुंच सकती है। शोध से पता चलता है कि समान कार्य की लागत में 33 गुना तक अंतर हो सकता है, और स्कैफोल्डिंग का चयन मुख्य लागत कारक है। स्थिर बेंचमार्क को संपीड़न तकनीक से सौ गुना लागत कमी मिल सकती है, लेकिन एआई एजेंट मूल्यांकन में लंबे ट्रेस और अधिक शोर के कारण संपीड़न सीमित है। अधिक खर्च हमेशा बेहतर परिणाम नहीं देता: उदाहरण के लिए GAIA परीक्षण में 2,828 डॉलर वाले समाधान की सटीकता 28.5% थी, जबकि 1,686 डॉलर वाले समाधान ने 57.6% हासिल किया। जब मूल्यांकन में मॉडल प्रशिक्षण शामिल हो, तो लागत सामान्य API ढांचे से पूरी तरह अधिक हो जाएगी।

मुख्य जानकारी

  • AI मूल्यांकन की लागत महत्वपूर्ण सीमा पार कर चुकी है और इसकी पहुंच को नया आकार दे रही है। Holistic…
  • 5% थी,जबकि 1,686 डॉलर वाले समाधान ने 57.
  • 6% हासिल किया। जब मूल्यांकन में मॉडल प्रशिक्षण शामिल हो,तो लागत सामान्य API ढांचे से पूरी तरह अधिक…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Hugging Face 社区博客(混合发现)
श्रेणी
विचार और समीक्षा
AI स्कोर
62
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

这篇把分散的评估成本数据拉通了算总账,曾经便宜的评测现在动辄上万美元,独立评估正被价格挤出牌桌,做Agent的人必须意识到排行榜的代价。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: AI मूल्यांकन बन रहा है नई कंप्यूट शक्ति की बाधा। 30 अप्रैल 2026। https://new.nat6.net/hi/news/cmokcbel300ilsl4fwekuxwgp/

सभी देखें →