Mga produkto at aplikasyon

HPC-Ops × SGLang: in-open source ng Tencent Hunyuan ang high-performance Attention, Router GEMM, at MoE operator

Orihinal na pamagat:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team

AI summary

Ang open source operator library na HPC-Ops ng Tencent Hunyuan ay isinama na sa main branch ng SGLang, at ang Dynamic Attention at Fused MoE nito ay nagbaba ng TPOT nang hanggang 48.8% sa Hy3 model.

Mahahalagang impormasyon

  • Ang open source operator library na HPC-Ops ng Tencent Hunyuan ay isinama na sa main branch ng…
  • at ang Dynamic Attention at Fused MoE nito ay nagbaba ng TPOT nang hanggang 48.
  • 8% sa Hy3 model.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
LMSYS Blog
Kategorya
Mga produkto at aplikasyon
AI na marka
76
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: HPC-Ops × SGLang: in-open source ng Tencent Hunyuan ang high-performance Attention, Router GEMM, at MoE operator. 7 Agosto 2026. https://new.nat6.net/fil/news/cmsj8rfkl02ruroo5uvyqiqiq/

Tingnan lahat →