HPC-Ops × SGLang: Tencent Hunyuan sumber terbuka operator Attention, Router GEMM dan MoE berprestasi tinggi
Tajuk asal:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team
Ringkasan AI
Pustaka operator sumber terbuka Tencent Hunyuan, HPC-Ops, telah disepadukan ke cabang utama SGLang; Dynamic Attention dan Fused MoE-nya mengurangkan TPOT sehingga 48.8% pada model Hy3.
Maklumat penting
- Pustaka operator sumber terbuka Tencent Hunyuan,HPC-Ops,telah disepadukan ke cabang utama SGLang
- Dynamic Attention dan Fused MoE-nya mengurangkan TPOT sehingga 48.
- 8% pada model Hy3.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- LMSYS Blog
- Kategori
- Produk & Aplikasi
- Skor AI
- 76
HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: HPC-Ops × SGLang: Tencent Hunyuan sumber terbuka operator Attention, Router GEMM dan MoE berprestasi tinggi. 7 Ogos 2026. https://new.nat6.net/ms/news/cmsj8rfkl02ruroo5uvyqiqiq/