HPC-Ops × SGLang: in-open source ng Tencent Hunyuan ang high-performance Attention, Router GEMM, at MoE operator
Orihinal na pamagat:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team
AI summary
Ang open source operator library na HPC-Ops ng Tencent Hunyuan ay isinama na sa main branch ng SGLang, at ang Dynamic Attention at Fused MoE nito ay nagbaba ng TPOT nang hanggang 48.8% sa Hy3 model.
Mahahalagang impormasyon
- Ang open source operator library na HPC-Ops ng Tencent Hunyuan ay isinama na sa main branch ng…
- at ang Dynamic Attention at Fused MoE nito ay nagbaba ng TPOT nang hanggang 48.
- 8% sa Hy3 model.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- LMSYS Blog
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 76
HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: HPC-Ops × SGLang: in-open source ng Tencent Hunyuan ang high-performance Attention, Router GEMM, at MoE operator. 7 Agosto 2026. https://new.nat6.net/fil/news/cmsj8rfkl02ruroo5uvyqiqiq/