HPC-Ops × SGLang: Tencent Hunyuan mã nguồn mở Attention, Router GEMM và toán tử MoE hiệu năng cao
Tiêu đề gốc:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team
Tóm tắt AI
Thư viện toán tử mã nguồn mở HPC-Ops của Tencent Hunyuan đã được tích hợp vào nhánh chính SGLang, Dynamic Attention và Fused MoE của nó giảm tối đa 48,8% TPOT trên mô hình Hy3.
Thông tin chính
- Thư viện toán tử mã nguồn mở HPC-Ops của Tencent Hunyuan đã được tích hợp vào nhánh chính SGLang
- Dynamic Attention và Fused MoE của nó giảm tối đa 48
- 8% TPOT trên mô hình Hy3.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- LMSYS Blog
- Danh mục
- Sản phẩm & ứng dụng
- Điểm AI
- 76
HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: HPC-Ops × SGLang: Tencent Hunyuan mã nguồn mở Attention, Router GEMM và toán tử MoE hiệu năng cao. 7 tháng 8 2026. https://new.nat6.net/vi/news/cmsj8rfkl02ruroo5uvyqiqiq/