smevals: मॉडल, प्रॉम्प्ट और मूल्यांकन ढांचे के परीक्षण के लिए एक छोटा इवैल्यूएशन सूट
मूल शीर्षक:smevals - a small eval suite for evaluating models, prompts, and harnesses
AI सारांश
smevals, Simon Willison और Prime Radiant Labs द्वारा विकसित एक नया टूल है, जिसका उपयोग विभिन्न मॉडल कॉन्फ़िगरेशन में छोटे इवैल्यूएशन सूट चलाने और परिणामों को स्कोर करने के लिए किया जाता है। यह `uvx smevals run` के माध्यम से gpt-5.5, claude-opus-4.6 जैसे मॉडलों पर मूल्यांकन का समर्थन करता है, रन और स्कोरिंग को अलग करता है, और अंत में एक स्टेटिक HTML रिपोर्ट तैयार करता है। यह मूल्यांकन पद्धति पर Willison का तीसरा पुनरावृत्ति है।
मुख्य जानकारी
- smevals,Simon Willison और Prime Radiant Labs द्वारा विकसित एक नया टूल है,जिसका उपयोग विभिन्न मॉडल…
- 5,claude-opus-4.
- 6 जैसे मॉडलों पर मूल्यांकन का समर्थन करता है,रन और स्कोरिंग को अलग करता है,और अंत में एक स्टेटिक…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- Simon Willison 博客
- श्रेणी
- ट्यूटोरियल और टिप्स
- AI स्कोर
- 73
一个轻量级评估框架,让编码代理帮你搭 eval,再直接跑模型对比。对想针对业务场景自建基准的团队,比通用榜单更实用。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: smevals: मॉडल, प्रॉम्प्ट और मूल्यांकन ढांचे के परीक्षण के लिए एक छोटा इवैल्यूएशन सूट। 1 अगस्त 2026। https://new.nat6.net/hi/news/cms9has920ey7ro9k5oh4ooow/