अन्य

NSA: हार्डवेयर-संरेखित स्पार्स अटेंशन नई तंत्र

मूल शीर्षक:🚀 Introducing NSA: A Hardware-Aligned and Natively Trainable Sparse Attention mechanism for ultra-f...

AI सारांश

NSA एक हार्डवेयर-संरेखित और मूल रूप से प्रशिक्षण योग्य स्पार्स अटेंशन तंत्र है, जो अल्ट्रा-फास्ट लंबे संदर्भ प्रशिक्षण और तर्क के लिए डिज़ाइन किया गया है। इसका मूल गतिशील पदानुक्रमित स्पार्स रणनीति है, जो मोटे टोकन संपीड़न और बारीक टोकन चयन को जोड़ती है। आधुनिक हार्डवेयर के लिए अनुकूलन के माध्यम से, NSA तर्क को तेज़ करता है और प्रीट्रेनिंग लागत कम करता है, बिना प्रदर्शन खोए, सामान्य बेंचमार्क, लंबे संदर्भ कार्यों और निर्देश तर्क में Full Attention मॉडल से मेल खाता या बेहतर करता है।

मुख्य जानकारी

  • NSA एक हार्डवेयर-संरेखित और मूल रूप से प्रशिक्षण योग्य स्पार्स अटेंशन तंत्र है,जो अल्ट्रा-फास्ट…
  • जो मोटे टोकन संपीड़न और बारीक टोकन चयन को जोड़ती है। आधुनिक हार्डवेयर के लिए अनुकूलन के माध्यम से
  • NSA तर्क को तेज़ करता है और प्रीट्रेनिंग लागत कम करता है,बिना प्रदर्शन खोए,सामान्य बेंचमार्क,लंबे…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
X:DeepSeek (@deepseek_ai)
श्रेणी
अन्य
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

DeepSeek 推出硬件对齐稀疏注意力 NSA,长上下文训练推理双提速,预训练成本显著降低

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: NSA: हार्डवेयर-संरेखित स्पार्स अटेंशन नई तंत्र। 18 फ़रवरी 2025। https://new.nat6.net/hi/news/cmo77611u003hslhea6kr5k19/

सभी देखें →