Tencent Hunyuan AI Infra mở mã nguồn mới: HPC-Ops nâng cấp toàn diện toán tử lõi suy luận
Tóm tắt AI
Nhóm Tencent Hunyuan AI Infra mở mã nguồn nâng cấp thư viện toán tử suy luận HPC-Ops, ra mắt năm toán tử lõi. Attention dùng lập lịch tải động thời gian chạy, văn bản dài tăng tốc tối đa 2.95x, QPM đầu cuối tăng 17%; Router GEMM dùng kết hợp BF16 kép đạt độ chính xác FP32, so với CuBLAS FP32 tăng tốc tối đa 3.22x; FusedMoE so với vLLM, SGLang hiệu năng tăng 1.2x~1.6x; Fused AllReduce+Norm so với giải pháp chính tăng tốc tối đa 1.68x; Sampler hợp nhất lấy mẫu giải mã thành 2 CUDA Kernel, so với vLLM tăng tốc 4.0x~7.5x. Mọi năng lực đều đến từ thực tiễn sản xuất và hoàn toàn mở mã nguồn.
Thông tin chính
- Nhóm Tencent Hunyuan AI Infra mở mã nguồn nâng cấp thư viện toán tử suy luận HPC-Ops,ra mắt năm…
- Attention dùng lập lịch tải động thời gian chạy,văn bản dài tăng tốc tối đa 2.
- 95x,QPM đầu cuối tăng 17%
- Router GEMM dùng kết hợp BF16 kép đạt độ chính xác FP32,so với CuBLAS FP32 tăng tốc tối đa 3.
- FusedMoE so với vLLM,SGLang hiệu năng tăng 1.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- 公众号:腾讯混元
- Danh mục
- Sản phẩm & ứng dụng
- Điểm AI
- 78
腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Tencent Hunyuan AI Infra mở mã nguồn mới: HPC-Ops nâng cấp toàn diện toán tử lõi suy luận. 11 tháng 6 2026. https://new.nat6.net/vi/news/cmq99cd9g09skslldniw7u2ub/