पेपर और शोध

नौ निर्णायक, दो प्रभावी वोट: सहसंबंधित त्रुटियां LLM समीक्षा पैनल को कमजोर करती हैं

मूल शीर्षक:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels

AI सारांश

Apple Machine Learning Research टीम ने पाया कि LLM-as-a-judge पैनल मॉडलों के बीच उच्च सहसंबंध के कारण गंभीर रूप से सीमित है। 7 मॉडल परिवारों के 9 अग्रणी बड़े भाषा मॉडलों को 3 प्राकृतिक भाषा अनुमान डेटासेट पर परीक्षण करने से पता चला कि 9 निर्णायक वास्तव में केवल लगभग 2 स्वतंत्र वोटों की जानकारी देते हैं, पैनल सटीकता स्वतंत्र वोट के आदर्श मान से 8–22 प्रतिशत अंक कम है, सर्वश्रेष्ठ एकल मॉडल का प्रदर्शन पूरे पैनल के बराबर या उससे बेहतर है। निर्णायकों की संख्या बढ़ाने या एग्रीगेशन एल्गोरिद्म सुधारने से बहुत कम लाभ होता है, यहां तक कि एल्गोरिद्म को सही उत्तर देने की अनुमति देने पर भी अधिकतम 11% का अंतर ही कम होता है। यह निष्कर्ष विभिन्न प्रॉम्प्ट वेरिएंट, तापमान सेटिंग्स और प्राथमिकता कार्यों में सत्यापित हुआ, बाधा एग्रीगेशन एल्गोरिद्म में नहीं बल्कि निर्णायकों के बीच सहसंबंध में है।

मुख्य जानकारी

  • Apple Machine Learning Research टीम ने पाया कि LLM-as-a-judge पैनल मॉडलों के बीच उच्च सहसंबंध के…
  • पैनल सटीकता स्वतंत्र वोट के आदर्श मान से 8–22 प्रतिशत अंक कम है,सर्वश्रेष्ठ एकल मॉडल का प्रदर्शन…
  • यहां तक कि एल्गोरिद्म को सही उत्तर देने की अनुमति देने पर भी अधिकतम 11% का अंतर ही कम होता है। यह…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Apple Machine Learning Research(RSS)
श्रेणी
पेपर और शोध
AI स्कोर
68
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: नौ निर्णायक, दो प्रभावी वोट: सहसंबंधित त्रुटियां LLM समीक्षा पैनल को कमजोर करती हैं। 23 जून 2026। https://new.nat6.net/hi/news/cmqr02j580f8oslp5i6wajucu/

सभी देखें →