Sản phẩm & ứng dụng

Tencent Hunyuan AI Infra mở mã nguồn mới: HPC-Ops nâng cấp toàn diện toán tử lõi suy luận

Tóm tắt AI

Nhóm Tencent Hunyuan AI Infra mở mã nguồn nâng cấp thư viện toán tử suy luận HPC-Ops, ra mắt năm toán tử lõi. Attention dùng lập lịch tải động thời gian chạy, văn bản dài tăng tốc tối đa 2.95x, QPM đầu cuối tăng 17%; Router GEMM dùng kết hợp BF16 kép đạt độ chính xác FP32, so với CuBLAS FP32 tăng tốc tối đa 3.22x; FusedMoE so với vLLM, SGLang hiệu năng tăng 1.2x~1.6x; Fused AllReduce+Norm so với giải pháp chính tăng tốc tối đa 1.68x; Sampler hợp nhất lấy mẫu giải mã thành 2 CUDA Kernel, so với vLLM tăng tốc 4.0x~7.5x. Mọi năng lực đều đến từ thực tiễn sản xuất và hoàn toàn mở mã nguồn.

Thông tin chính

  • Nhóm Tencent Hunyuan AI Infra mở mã nguồn nâng cấp thư viện toán tử suy luận HPC-Ops,ra mắt năm…
  • Attention dùng lập lịch tải động thời gian chạy,văn bản dài tăng tốc tối đa 2.
  • 95x,QPM đầu cuối tăng 17%
  • Router GEMM dùng kết hợp BF16 kép đạt độ chính xác FP32,so với CuBLAS FP32 tăng tốc tối đa 3.
  • FusedMoE so với vLLM,SGLang hiệu năng tăng 1.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
公众号:腾讯混元
Danh mục
Sản phẩm & ứng dụng
Điểm AI
78
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Tencent Hunyuan AI Infra mở mã nguồn mới: HPC-Ops nâng cấp toàn diện toán tử lõi suy luận. 11 tháng 6 2026. https://new.nat6.net/vi/news/cmq99cd9g09skslldniw7u2ub/

Xem tất cả →