पेपर और शोध

Thinking Machines Lab ने LoRA Without Regret शोध जारी किया

मूल शीर्षक:LoRA Without Regret

AI सारांश

Thinking Machines Lab ने एक शोध प्रकाशित किया जो LoRA और पूर्ण फाइन-ट्यूनिंग (FullFT) के समान प्रदर्शन वाले "कम पछतावा क्षेत्र" का व्यवस्थित वर्णन करता है, जो अधिकांश पोस्ट-ट्रेनिंग परिदृश्यों को कवर करता है। मुख्य निष्कर्ष यह है कि जब LoRA को सभी वेट परतों, विशेष रूप से MLP/MoE परतों पर लागू किया जाता है और क्षमता सीमित नहीं होती, तो पर्यवेक्षित फाइन-ट्यूनिंग और LoRA की नमूना दक्षता तथा अंतिम प्रदर्शन FullFT के बराबर होते हैं; RL परिदृश्य में rank=1 होने पर भी यह पूरी तरह मेल खा सकता है।

मुख्य जानकारी

  • Thinking Machines Lab ने एक शोध प्रकाशित किया जो LoRA और पूर्ण फाइन-ट्यूनिंग (FullFT) के समान…
  • विशेष रूप से MLP/MoE परतों पर लागू किया जाता है और क्षमता सीमित नहीं होती,तो पर्यवेक्षित…
  • RL परिदृश्य में rank=1 होने पर भी यह पूरी तरह मेल खा सकता है।

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Thinking Machines Lab:官方博客
श्रेणी
पेपर और शोध
AI स्कोर
69
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

文章通过系统实验给出了 LoRA 与全量微调表现相当的两个条件,读者可据此判断自己的微调场景能否改用 LoRA。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Thinking Machines Lab ने LoRA Without Regret शोध जारी किया। 29 सितंबर 2025। https://new.nat6.net/hi/news/cmq75sy1q0007sl5wq9kxp601/

सभी देखें →