ผลิตภัณฑ์และแอป

cuLA: เขียน linear attention ใหม่ด้วย CUDA

สรุปโดย AI

cuLA คือไลบรารี CUDA kernel ประสิทธิภาพสูงสำหรับตัวแปร linear attention เช่น GLA และ KDA โดยใช้ CuTe DSL และ CUTLASS C++ ที่ปรับแต่งด้วยมือ เพื่อรองรับสถาปัตยกรรม GPU รุ่นใหม่ของ NVIDIA เช่น Hopper และ Blackwell อย่างลึกซึ้ง มุ่งแปลงอัลกอริทึมที่ซับซ้อนเป็นโอเปอเรเตอร์ประสิทธิภาพสูงที่เรียกใช้ได้โดยตรง อินเทอร์เฟซสอดคล้องกับ flash-linear-attention นักพัฒนาเพียงแก้ไข import หนึ่งบรรทัดก็สามารถเชื่อมต่อได้ด้วยต้นทุนต่ำ ผลทดสอบประสิทธิภาพแสดงว่า kernel ของมันบน GPU Blackwell และ Hopper ให้ความเร็วสูงสุดเฉลี่ย 1.52 เท่าเมื่อเทียบกับการใช้งานพื้นฐาน Triton โครงการนี้เป็นโอเพนซอร์สแล้ว และวางแผนผสานเข้ากับกลไกการจัดตารางแบบรวมของ FLA ในอนาคต

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
蚂蚁百灵:Developer Blog(网页)
หมวดหมู่
ผลิตภัณฑ์และแอป
คะแนน AI
66
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

蚂蚁百灵把线性注意力的 CUDA 内核做成了开箱即用的库,性能超过 Triton 基线,对于做长上下文推理优化的团队挺实用,但受众面比较窄。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: cuLA: เขียน linear attention ใหม่ด้วย CUDA 8 เมษายน 2026 https://new.nat6.net/th/news/cmoecv1p6003qsl19n5usdt4x/

ดูทั้งหมด →