Ulysses Sequence Parallelism: लाखों टोकन संदर्भ का प्रशिक्षण
मूल शीर्षक:Ulysses Sequence Parallelism: Training with Million-Token Contexts
AI सारांश
शोध टीम ने Ulysses सीक्वेंस पैरेललिज़्म विधि जारी की है, जो बड़े भाषा मॉडल के प्रशिक्षण के लिए एक नई तकनीक है। यह विधि लंबे अनुक्रमों को उपकरणों के बीच विशिष्ट आयामों में विभाजित और पुनर्गठित करके अत्यंत लंबे संदर्भ के समानांतर प्रसंस्करण को संभव बनाती है। इसका मुख्य परिवर्तन यह है कि यह लाखों टोकन तक की संदर्भ लंबाई वाले मॉडलों को कुशलता से प्रशिक्षित कर सकती है, जिससे मौजूदा विधियों की अनुक्रम लंबाई विस्तार की सीमा टूटती है। यह प्रगति उच्च प्रशिक्षण दक्षता बनाए रखते हुए पुस्तकों और लंबे दस्तावेज़ों जैसे अति-लंबे टेक्स्ट को संसाधित करना संभव बनाती है, और AI के लोकतंत्रीकरण तथा ओपन-सोर्स विकास को आगे बढ़ाने के लिए महत्वपूर्ण तकनीकी सहायता प्रदान करती है।
मुख्य जानकारी
- शोध टीम ने Ulysses सीक्वेंस पैरेललिज़्म विधि जारी की है
- जो बड़े भाषा मॉडल के प्रशिक्षण के लिए एक नई तकनीक है। यह विधि लंबे अनुक्रमों को उपकरणों के बीच…
- जिससे मौजूदा विधियों की अनुक्रम लंबाई विस्तार की सीमा टूटती है। यह प्रगति उच्च प्रशिक्षण दक्षता…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- Hugging Face 社区博客(混合发现)
- श्रेणी
- अन्य
- AI स्कोर
- 76
百万 token 训练的序列并行方案,长上下文模型训练的关键工程突破
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Ulysses Sequence Parallelism: लाखों टोकन संदर्भ का प्रशिक्षण। 9 मार्च 2026। https://new.nat6.net/hi/news/cmoegbhaj0095slxxvq69cjun/