Sản phẩm & ứng dụng

HPC-Ops × SGLang: Tencent Hunyuan mã nguồn mở Attention, Router GEMM và toán tử MoE hiệu năng cao

Tiêu đề gốc:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team

Tóm tắt AI

Thư viện toán tử mã nguồn mở HPC-Ops của Tencent Hunyuan đã được tích hợp vào nhánh chính SGLang, Dynamic Attention và Fused MoE của nó giảm tối đa 48,8% TPOT trên mô hình Hy3.

Thông tin chính

  • Thư viện toán tử mã nguồn mở HPC-Ops của Tencent Hunyuan đã được tích hợp vào nhánh chính SGLang
  • Dynamic Attention và Fused MoE của nó giảm tối đa 48
  • 8% TPOT trên mô hình Hy3.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
LMSYS Blog
Danh mục
Sản phẩm & ứng dụng
Điểm AI
76
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: HPC-Ops × SGLang: Tencent Hunyuan mã nguồn mở Attention, Router GEMM và toán tử MoE hiệu năng cao. 7 tháng 8 2026. https://new.nat6.net/vi/news/cmsj8rfkl02ruroo5uvyqiqiq/

Xem tất cả →