เพิ่มประสิทธิภาพการอนุมานโมเดล MoE ด้วย warp decode
หัวข้อต้นฉบับ:Better MoE model inference with warp decode
สรุปโดย AI
สำหรับการถอดรหัสแบบแบตช์เล็กบน Blackwell GPU งานวิจัยเสนอวิธีใหม่ชื่อ 'warp decode' วิธีนี้พลิกเส้นทางการคำนวณแบบเดิมที่ยึดผู้เชี่ยวชาญเป็นศูนย์กลาง เป็นให้แต่ละ GPU warp รับผิดชอบคำนวณหนึ่งนิวรอนเอาต์พุต การเปลี่ยนแปลงพื้นฐานนี้ขจัดขั้นตอน '簿记' ที่จัดการข้อมูลล้วนห้าขั้นตอนในกระบวนการเดิม บีบอัดชั้นคำนวณ MoE ทั้งหมดเหลือเพียงสองเคอร์เนล ข้อดีคือหลีกเลี่ยงการแพดดิ้ง การกระจาย และการอ่านเขียนบัฟเฟอร์กลาง และใช้ความเป็นอิสระของ warp จัดตารางได้ดีขึ้น บน Blackwell GPU วิธีนี้เพิ่มทรูพุต 1.84 เท่า พร้อมความแม่นยำเอาต์พุตสูงขึ้น โดยช่องว่างกับค่าอ้างอิง FP32 เต็มลดลง 1.4 เท่า เร่งกระบวนการวิจัยพัฒนาโมเดลได้อย่างมีประสิทธิภาพ
ข้อมูลสำคัญ
- สำหรับการถอดรหัสแบบแบตช์เล็กบน Blackwell GPU งานวิจัยเสนอวิธีใหม่ชื่อ 'warp decode' วิธีนี้พลิกเส้น…
- 84 เท่า พร้อมความแม่นยำเอาต์พุตสูงขึ้น โดยช่องว่างกับค่าอ้างอิง FP32 เต็มลดลง 1.
- 4 เท่า เร่งกระบวนการวิจัยพัฒนาโมเดลได้อย่างมีประสิทธิภาพ
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Cursor Blog
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 66
Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: เพิ่มประสิทธิภาพการอนุมานโมเดล MoE ด้วย warp decode 6 เมษายน 2026 https://new.nat6.net/th/news/cmosbbgu40075slojjfiqhvmm/