DynaMiCS: प्रदर्शन बाधाओं के साथ बड़े भाषा मॉडल का गतिशील मिश्रित फाइन-ट्यूनिंग
मूल शीर्षक:DynaMiCS: Fine-Tuning LLMs with Performance Constraints Using Dynamic Mixtures
AI सारांश
DynaMiCS एक गतिशील मिश्रित ऑप्टिमाइज़र है जो बहु-क्षेत्रीय फाइन-ट्यूनिंग को प्रदर्शन बाधाओं वाली अनुकूलन समस्या के रूप में मॉडल करता है। यह संक्षिप्त क्षेत्र-विशिष्ट प्रोब रन के माध्यम से क्रॉस-डोमेन प्रभाव ढलान मैट्रिक्स का अनुमान लगाता है, फिर प्रायिकता सिम्प्लेक्स अनुकूलन के आधार पर मिश्रण भार की गणना करता है, जिससे लक्ष्य क्षेत्र का प्रदर्शन बढ़ता है और बाधा क्षेत्र का नुकसान संदर्भ स्तर से नीचे बना रहता है। प्रयोगों से पता चलता है कि DynaMiCS निश्चित मिश्रण बेसलाइन की तुलना में अधिक मजबूत लक्ष्य क्षेत्र सुधार और बाधा संतुष्टि प्राप्त करता है, साथ ही कम गणना लागत लेता है, और इसमें संदर्भ मॉडल, प्रति-नमूना स्कोरिंग या मिश्रण भार के मैन्युअल समायोजन की आवश्यकता नहीं होती।
मुख्य जानकारी
- DynaMiCS एक गतिशील मिश्रित ऑप्टिमाइज़र है जो बहु-क्षेत्रीय फाइन-ट्यूनिंग को प्रदर्शन बाधाओं वाली…
- जिससे लक्ष्य क्षेत्र का प्रदर्शन बढ़ता है और बाधा क्षेत्र का नुकसान संदर्भ स्तर से नीचे बना रहता…
- साथ ही कम गणना लागत लेता है,और इसमें संदर्भ मॉडल,प्रति-नमूना स्कोरिंग या मिश्रण भार के मैन्युअल…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 55
苹果这篇论文做了一件不太起眼但有用的事——让模型在学新领域时自动平衡旧能力,不用手动调混合权重,对需要多任务微调又怕遗忘的团队是个小进步,不过算不上范式级突破。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: DynaMiCS: प्रदर्शन बाधाओं के साथ बड़े भाषा मॉडल का गतिशील मिश्रित फाइन-ट्यूनिंग। 7 जुलाई 2026। https://new.nat6.net/hi/news/cmrasd6r300hxihog9hxmteoz/