RVPO: विचरण नियमन आधारित जोखिम-संवेदनशील संरेखण
मूल शीर्षक:RVPO: Risk-Sensitive Alignment via Variance Regularization
AI सारांश
मौजूदा आलोचक-रहित RLHF विधियां बहु-उद्देश्य पुरस्कारों को अंकगणितीय औसत से एकत्रित करती हैं, जिससे बाधा उपेक्षा हो सकती है: किसी एक उद्देश्य का उच्च स्कोर अन्य महत्वपूर्ण उद्देश्यों (जैसे सुरक्षा या प्रारूप) की गंभीर विफलता को छिपा सकता है, जिससे विश्वसनीय संरेखण को प्रभावित करने वाले निम्न-प्रदर्शन बाधा पुरस्कार छिप जाते हैं। यह अध्ययन रिवॉर्ड वेरिएंस पॉलिसी ऑप्टिमाइजेशन (RVPO) प्रस्तुत करता है, एक जोखिम-संवेदनशील ढांचा जो लाभ एकत्रीकरण में पुरस्कारों के बीच विचरण को दंडित करता है और अनुकूलन उद्देश्य को "योग को अधिकतम करने" से "संगति को अधिकतम करने" में बदल देता है। विश्लेषण दर्शाता है कि RVPO बाधा पुरस्कारों के योगदान को प्रभावी ढंग से पहचान और बढ़ा सकता है, तथा सुरक्षा, प्रारूप पालन आदि बहु-उद्देश्य संरेखण कार्यों में अधिक संतुलित नीति अनुकूलन प्राप्त करता है।
मुख्य जानकारी
- मौजूदा आलोचक-रहित RLHF विधियां बहु-उद्देश्य पुरस्कारों को अंकगणितीय औसत से एकत्रित करती हैं,जिससे…
- जिससे विश्वसनीय संरेखण को प्रभावित करने वाले निम्न-प्रदर्शन बाधा पुरस्कार छिप जाते हैं। यह अध्ययन…
- एक जोखिम-संवेदनशील ढांचा जो लाभ एकत्रीकरण में पुरस्कारों के बीच विचरण को दंडित करता है और अनुकूलन…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 68
当多数RLHF在‘求总分’,这篇Apple论文告诉你得分方差也致命,做安全对齐的人会看到新的损失函数怎么把一致性也纳入训练目标。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: RVPO: विचरण नियमन आधारित जोखिम-संवेदनशील संरेखण। 8 मई 2026। https://new.nat6.net/hi/news/cmox787mj007fslfoi53rqpks/