उत्पाद और ऐप्स

FlashQLA: TileLang पर आधारित उच्च-प्रदर्शन रैखिक ध्यान कर्नेल

मूल शीर्षक:🚀 Introducing FlashQLA: high-performance linear attention kernels built on TileLang. ⚡ 2–3× forwar...

AI सारांश

FlashQLA, TileLang पर आधारित एक उच्च-प्रदर्शन रैखिक ध्यान कर्नेल है, जिसे व्यक्तिगत उपकरणों पर एआई एजेंट के लिए डिज़ाइन किया गया है। इसके मुख्य नवाचारों में गेटिंग-संचालित स्वचालित ऑन-चिप गणना समानांतरता, हार्डवेयर-अनुकूल बीजगणितीय पुनर्गठन और TileLang में विलीन Warp-विशिष्ट कर्नेल शामिल हैं, जो स्ट्रीम प्रोसेसर उपयोग बढ़ाकर फ़ॉरवर्ड प्रोपेगेशन में 2-3 गुना और बैकवर्ड प्रोपेगेशन में 2 गुना तेज़ी देते हैं। यह तकनीक छोटे मॉडल, लंबे संदर्भ वाले कार्यभार और टेंसर समानांतर सेटिंग्स में उल्लेखनीय रूप से प्रभावी है; बड़े बैच प्रोसेसिंग में मेमोरी I/O ओवरहेड थोड़ा अधिक होता है, परंतु एज उपकरणों और लंबे संदर्भ परिदृश्यों में वास्तविक प्रदर्शन बेहतर है। बैकवर्ड प्रोपेगेशन सख्त ऑन-चिप मेमोरी सीमा के अंतर्गत 16-स्तरीय Warp-विशिष्ट पाइपलाइन के माध्यम से कर्नेल-स्तरीय तेज़ी प्राप्त करता है। संबंधित संसाधन ओपन-सोर्स कर दिए गए हैं।

मुख्य जानकारी

  • FlashQLA,TileLang पर आधारित एक उच्च-प्रदर्शन रैखिक ध्यान कर्नेल है,जिसे व्यक्तिगत उपकरणों पर एआई…
  • जो स्ट्रीम प्रोसेसर उपयोग बढ़ाकर फ़ॉरवर्ड प्रोपेगेशन में 2-3 गुना और बैकवर्ड प्रोपेगेशन में 2 गुना…
  • बड़े बैच प्रोसेसिंग में मेमोरी I/O ओवरहेड थोड़ा अधिक होता है,परंतु एज उपकरणों और लंबे संदर्भ…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
X:通义千问 / Qwen (@Alibaba_Qwen)
श्रेणी
उत्पाद और ऐप्स
AI स्कोर
60
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

2 倍加速的背后是 Warp 特化流水线和自动 Copy 策略,像给手机 GPU 开了条专用跑道,做端侧 Agent 的可以直接拉代码试试。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: FlashQLA: TileLang पर आधारित उच्च-प्रदर्शन रैखिक ध्यान कर्नेल। 29 अप्रैल 2026। https://new.nat6.net/hi/news/cmok1dwzq018nslz3bcc08gwr/

सभी देखें →