Together AI ने FlashAttention-4 जारी किया: एसिमेट्रिक हार्डवेयर स्केलिंग के लिए एल्गोरिदम और कर्नेल का सह-डिज़ाइन
मूल शीर्षक:FlashAttention-4: Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling
AI सारांश
Together AI ने FlashAttention-4 जारी किया है, जो एल्गोरिदम और कर्नेल के सह-डिज़ाइन के माध्यम से Blackwell GPU पर मैट्रिक्स मल्टीप्लीकेशन, सॉफ्टमैक्स और मेमोरी ऑपरेशंस के समानांतर ओवरलैप को अधिकतम करता है।
मुख्य जानकारी
- Together AI ने FlashAttention-4 जारी किया है
- जो एल्गोरिदम और कर्नेल के सह-डिज़ाइन के माध्यम से Blackwell GPU पर मैट्रिक्स मल्टीप्लीकेशन
- सॉफ्टमैक्स और मेमोरी ऑपरेशंस के समानांतर ओवरलैप को अधिकतम करता है।
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- Together AI 研究与产品博客(RSS)
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 64
原文给出 B200 上 attention 瓶颈的实测分析和 FA4 的算法内核协同设计细节,方法可迁移到非对称硬件优化。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Together AI ने FlashAttention-4 जारी किया: एसिमेट्रिक हार्डवेयर स्केलिंग के लिए एल्गोरिदम और कर्नेल का सह-डिज़ाइन। 5 मार्च 2026। https://new.nat6.net/hi/news/cmu1iytz90kearocne59iznjn/