अन्य

डिफ़रेंशियल Transformer V2

मूल शीर्षक:Differential Transformer V2

AI सारांश

डिफ़रेंशियल Transformer V2 जारी किया गया, जिसका मुख्य आधार सुधारित डिफ़रेंशियल अटेंशन तंत्र है। V1 की तुलना में, V2 क्वेरी हेड की संख्या दोगुनी करता है जबकि की-वैल्यू हेड अपरिवर्तित रहते हैं, और डिफ़रेंशियल ऑपरेशन के बाद आयाम कम हो जाता है, जिससे डिकोडिंग के दौरान मानक Transformer के बराबर गति प्राप्त होती है और कस्टम कर्नेल की आवश्यकता नहीं होती। नया संस्करण V1 में अटेंशन वितरण के समानीकरण के कारण होने वाली संख्यात्मक अस्थिरता को भी हल करता है, विशेष रूप से RMSNorm परत के लिए आवश्यक विशाल स्केलिंग कारक को समाप्त करता है (जैसे लंबे अनुक्रमों में), जिससे ग्रेडिएंट विस्फोट से बचा जाता है, और अधिक स्थिर बड़े पैमाने पर प्री-ट्रेनिंग का लक्ष्य रखा गया है।

मुख्य जानकारी

  • डिफ़रेंशियल Transformer V2 जारी किया गया,जिसका मुख्य आधार सुधारित डिफ़रेंशियल अटेंशन तंत्र है। V1…
  • जिससे डिकोडिंग के दौरान मानक Transformer के बराबर गति प्राप्त होती है और कस्टम कर्नेल की आवश्यकता…
  • विशेष रूप से RMSNorm परत के लिए आवश्यक विशाल स्केलिंग कारक को समाप्त करता है (जैसे लंबे अनुक्रमों…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Hugging Face 社区博客(混合发现)
श्रेणी
अन्य
AI स्कोर
83
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: डिफ़रेंशियल Transformer V2। 20 जनवरी 2026। https://new.nat6.net/hi/news/cmoegbhak009uslxxazhwpcva/

सभी देखें →