Google AI टीम ने LLM-as-a-Judge मूल्यांकन के लिए विश्वसनीय स्कोरिंग मानदंड लिखने का तरीका साझा किया
मूल शीर्षक:How to Write Reliable Rubrics for LLM-as-a-Judge Evaluations
AI सारांश
Google AI टीम ने एक ट्यूटोरियल जारी किया, जिसमें LLM-as-a-Judge मूल्यांकन के लिए विश्वसनीय बूलियन स्कोरिंग मानदंड लिखने का तरीका बताया गया, और कहा गया कि अस्पष्ट प्रॉम्प्ट से मूल्यांकन में असंगति और token की बर्बादी होती है। इसमें चार सीख दी गई हैं: प्रश्नों को परमाणु और गैर-अतिव्यापी रखें, निर्णायक मॉडल से केवल वस्तुनिष्ठ तथ्यों का मूल्यांकन कराएं (RFC 2119 शब्द जैसे MUST का उपयोग करें), केवल वही मूल्यांकन करें जो prompt में स्पष्ट रूप से मांगा गया हो, और विशेषज्ञ-लेबल वाले golden set से निर्णायक मॉडल को तब तक कैलिब्रेट करें जब तक वह मानव स्कोर से मेल न खाए।
मुख्य जानकारी
- Google AI टीम ने एक ट्यूटोरियल जारी किया
- जिसमें LLM-as-a-Judge मूल्यांकन के लिए विश्वसनीय बूलियन स्कोरिंग मानदंड लिखने का तरीका बताया…
- निर्णायक मॉडल से केवल वस्तुनिष्ठ तथ्यों का मूल्यांकन कराएं (RFC 2119 शब्द जैसे MUST का उपयोग…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- Google AI:DEV 作者专属(RSS)
- श्रेणी
- ट्यूटोरियल और टिप्स
- AI स्कोर
- 66
作者来自 Google 团队,把写作 LLM-as-a-judge 评分标准的经验整理成四条可迁移规则,附带校准流程,适合自己搭建评测时参考。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Google AI टीम ने LLM-as-a-Judge मूल्यांकन के लिए विश्वसनीय स्कोरिंग मानदंड लिखने का तरीका साझा किया। 3 सितंबर 2026। https://new.nat6.net/hi/news/cmtkbz92801nmrowy61g2fsob/