Tencent Hunyuan เสนออัลกอริทึม Stem Sparse Attention ได้รับการตอบรับใน ICML 2026
หัวข้อต้นฉบับ:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA
สรุปโดย AI
อัลกอริทึม Stem ใช้นวัตกรรม 2 อย่างคือ Token Position Decay (TPD) และ Output-Aware Metric (OAM) ใช้พลังประมวลผลเพียง 25% ก็เข้าใกล้ความแม่นยำของ Dense Attention ตัวดำเนินการ HPC ที่พัฒนาคู่กันได้รับการปรับแต่งสำหรับสถาปัตยกรรม Hopper รองรับการควอนไทซ์ FP8 และ Paged KV Cache ของ vLLM ทำให้เวลาแฝงของโทเคนแรกบน Hunyuan Hy3 preview ลดลง 3.6 เท่า HPC-BSA รักษาความเร็วเพิ่มขึ้นประมาณ 3 เท่าอย่างเสถียรเมื่อเทียบกับ MIT-BSA และมีประสิทธิภาพสม่ำเสมอในความยาวลำดับ 8K ถึง 256K
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- 公众号:腾讯混元
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 62
把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Tencent Hunyuan เสนออัลกอริทึม Stem Sparse Attention ได้รับการตอบรับใน ICML 2026 5 มิถุนายน 2026 https://new.nat6.net/th/news/cmq2o71l001iisl6n8ljx5jbt/