Tencent Hunyuan đề xuất thuật toán chú ý thưa Stem, được ICML 2026 nhận
Tiêu đề gốc:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA
Tóm tắt AI
Thuật toán Stem thông qua hai đổi mới suy giảm vị trí Token (TPD) và đo lường nhận thức đầu ra (OAM), chỉ dùng 25% sức tính toán đã tiệm cận độ chính xác chú ý dày đặc. Toán tử HPC đi kèm tối ưu cho kiến trúc Hopper, hỗ trợ lượng tử hóa FP8 và Paged KV Cache của vLLM, trên Hunyuan Hy3 preview giảm độ trễ token đầu 3.6 lần. HPC-BSA so với MIT-BSA duy trì ổn định tăng tốc khoảng 3 lần, biểu hiện nhất quán trên độ dài chuỗi 8K đến 256K.
Thông tin chính
- Thuật toán Stem thông qua hai đổi mới suy giảm vị trí Token (TPD) và đo lường nhận thức đầu ra…
- Toán tử HPC đi kèm tối ưu cho kiến trúc Hopper,hỗ trợ lượng tử hóa FP8 và Paged KV Cache của…
- HPC-BSA so với MIT-BSA duy trì ổn định tăng tốc khoảng 3 lần,biểu hiện nhất quán trên độ dài chuỗi…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- 公众号:腾讯混元
- Danh mục
- Bài báo & nghiên cứu
- Điểm AI
- 62
把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Tencent Hunyuan đề xuất thuật toán chú ý thưa Stem, được ICML 2026 nhận. 5 tháng 6 2026. https://new.nat6.net/vi/news/cmq2o71l001iisl6n8ljx5jbt/