cuLA: CUDA से लीनियर अटेंशन को फिर से लिखना
AI सारांश
cuLA GLA, KDA जैसे लीनियर अटेंशन वेरिएंट के लिए एक उच्च-प्रदर्शन CUDA कर्नेल लाइब्रेरी है। यह हस्त-अनुकूलित CuTe DSL और CUTLASS C++ कार्यान्वयन के माध्यम से NVIDIA Hopper और Blackwell जैसे नई पीढ़ी के GPU आर्किटेक्चर के लिए गहराई से अनुकूलित है, जिसका उद्देश्य जटिल एल्गोरिदम को सीधे कॉल करने योग्य उच्च-प्रदर्शन ऑपरेटर में बदलना है। इसका इंटरफ़ेस flash-linear-attention के साथ संगत है, डेवलपर्स को केवल एक पंक्ति का import बदलना होता है ताकि कम लागत में इसे जोड़ा जा सके। प्रदर्शन परीक्षण दर्शाते हैं कि इसके कर्नेल Blackwell और Hopper GPU पर Triton बेसलाइन कार्यान्वयन की तुलना में औसतन अधिकतम 1.52 गुना गति प्रदान करते हैं। यह परियोजना ओपन-सोर्स है और भविष्य में FLA की एकीकृत शेड्यूलिंग व्यवस्था में एकीकृत करने की योजना है।
मुख्य जानकारी
- cuLA GLA,KDA जैसे लीनियर अटेंशन वेरिएंट के लिए एक उच्च-प्रदर्शन CUDA कर्नेल लाइब्रेरी है। यह…
- डेवलपर्स को केवल एक पंक्ति का import बदलना होता है ताकि कम लागत में इसे जोड़ा जा सके। प्रदर्शन…
- 52 गुना गति प्रदान करते हैं। यह परियोजना ओपन-सोर्स है और भविष्य में FLA की एकीकृत शेड्यूलिंग…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- 蚂蚁百灵:Developer Blog(网页)
- श्रेणी
- उत्पाद और ऐप्स
- AI स्कोर
- 66
蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库,性能超过 Triton 基线,对于做长上下文推理优化的团队挺实用,但受众面比较窄。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: cuLA: CUDA से लीनियर अटेंशन को फिर से लिखना। 8 अप्रैल 2026। https://new.nat6.net/hi/news/cmoecv1p6003qsl19n5usdt4x/