บทความและงานวิจัย

Tencent Hunyuan เสนออัลกอริทึม Stem Sparse Attention ได้รับการตอบรับใน ICML 2026

หัวข้อต้นฉบับ:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA

สรุปโดย AI

อัลกอริทึม Stem ใช้นวัตกรรม 2 อย่างคือ Token Position Decay (TPD) และ Output-Aware Metric (OAM) ใช้พลังประมวลผลเพียง 25% ก็เข้าใกล้ความแม่นยำของ Dense Attention ตัวดำเนินการ HPC ที่พัฒนาคู่กันได้รับการปรับแต่งสำหรับสถาปัตยกรรม Hopper รองรับการควอนไทซ์ FP8 และ Paged KV Cache ของ vLLM ทำให้เวลาแฝงของโทเคนแรกบน Hunyuan Hy3 preview ลดลง 3.6 เท่า HPC-BSA รักษาความเร็วเพิ่มขึ้นประมาณ 3 เท่าอย่างเสถียรเมื่อเทียบกับ MIT-BSA และมีประสิทธิภาพสม่ำเสมอในความยาวลำดับ 8K ถึง 256K

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
公众号:腾讯混元
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
62
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Tencent Hunyuan เสนออัลกอริทึม Stem Sparse Attention ได้รับการตอบรับใน ICML 2026 5 มิถุนายน 2026 https://new.nat6.net/th/news/cmq2o71l001iisl6n8ljx5jbt/

ดูทั้งหมด →