अन्य

Ling 2.5 Lightning Attention+MLA हाइब्रिड लीनियर आर्किटेक्चर रूपांतरण अभ्यास

AI सारांश

अति-लंबे संदर्भ में गणना दक्षता बढ़ाने के लिए, Ling 2.5 आर्किटेक्चर ने Ling 2.0 के GQA को 1:7 के Lightning Attention और MLA हाइब्रिड लीनियर अटेंशन में बदल दिया। इसका उद्देश्य Lightning Attention से लंबे अनुक्रमों की थ्रूपुट बढ़ाना और MLA के माध्यम से KV Cache को अत्यधिक संपीड़ित करना है। रूपांतरण के बाद प्रदर्शन को नुकसान रहित सुनिश्चित करने के लिए, टीम ने सूक्ष्म स्मूथ माइग्रेशन प्रशिक्षण रणनीति डिज़ाइन की, जिसमें वेट कन्वर्ज़न, QK Norm फ्यूज़न और Partial RoPE रूपांतरण आदि बहु-चरणीय अतिरिक्त प्रशिक्षण शामिल हैं। Scaling Law प्रयोगों ने 1:7 को इष्टतम हाइब्रिड अनुपात के रूप में निर्धारित किया, अंततः ट्रिलियन-पैरामीटर मॉडल ने कम गणना लागत और उच्च लंबे-पाठ तर्क दक्षता प्राप्त की।

मुख्य जानकारी

  • अति-लंबे संदर्भ में गणना दक्षता बढ़ाने के लिए,Ling 2.
  • 5 आर्किटेक्चर ने Ling 2.
  • 0 के GQA को 1:7 के Lightning Attention और MLA हाइब्रिड लीनियर अटेंशन में बदल दिया। इसका उद्देश्य…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
蚂蚁百灵:Developer Blog(网页)
श्रेणी
अन्य
AI स्कोर
86
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

为大模型长上下文优化提供可落地的工程实践参考。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Ling 2.5 Lightning Attention+MLA हाइब्रिड लीनियर आर्किटेक्चर रूपांतरण अभ्यास। 26 फ़रवरी 2026। https://new.nat6.net/hi/news/cmoecv1p6003usl1973hu5t5o/

सभी देखें →