HPC-Ops × SGLang: Tencent Hunyuan sumber terbuka Attention, Router GEMM, dan operator MoE berperforma tinggi
Judul asli:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team
Ringkasan AI
Pustaka operator sumber terbuka HPC-Ops dari Tencent Hunyuan telah diintegrasikan ke cabang utama SGLang, dengan Dynamic Attention dan Fused MoE-nya menurunkan TPOT hingga 48,8% pada model Hy3.
Poin utama
- Pustaka operator sumber terbuka HPC-Ops dari Tencent Hunyuan telah diintegrasikan ke cabang utama…
- dengan Dynamic Attention dan Fused MoE-nya menurunkan TPOT hingga 48
- 8% pada model Hy3.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- LMSYS Blog
- Kategori
- Produk & Aplikasi
- Skor AI
- 76
HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: HPC-Ops × SGLang: Tencent Hunyuan sumber terbuka Attention, Router GEMM, dan operator MoE berperforma tinggi. 7 Agustus 2026. https://new.nat6.net/id/news/cmsj8rfkl02ruroo5uvyqiqiq/