Bagong open source ng Tencent Hunyuan AI Infra: ganap na na-upgrade ang HPC-Ops inference core operators
AI summary
In-open source at in-upgrade ng Tencent Hunyuan AI Infra team ang HPC-Ops inference operator library, na naglunsad ng limang core operator. Ang Attention ay gumagamit ng runtime dynamic load scheduling, hanggang 2.95x na acceleration sa mahabang teksto, 17% na pagtaas ng end-to-end QPM; ang Router GEMM ay gumagamit ng dual BF16 combination upang makamit ang FP32 precision, hanggang 3.22x na acceleration kumpara sa CuBLAS FP32; ang FusedMoE ay may 1.2x~1.6x na pagbuti ng performance kumpara sa vLLM at SGLang; ang Fused AllReduce+Norm ay hanggang 1.68x na acceleration kumpara sa mainstream solution; ang Sampler ay pinagsama ang decoding sampling sa 2 CUDA Kernel, 4.0x~7.5x na acceleration kumpara sa vLLM. Lahat ng kakayahan ay nagmula sa production practice at ganap na open source.
Mahahalagang impormasyon
- In-open source at in-upgrade ng Tencent Hunyuan AI Infra team ang HPC-Ops inference operator…
- Ang Attention ay gumagamit ng runtime dynamic load scheduling,hanggang 2.
- 95x na acceleration sa mahabang teksto,17% na pagtaas ng end-to-end QPM
- ang Router GEMM ay gumagamit ng dual BF16 combination upang makamit ang FP32 precision,hanggang 3.
- 22x na acceleration kumpara sa CuBLAS FP32
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 公众号:腾讯混元
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 78
腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Bagong open source ng Tencent Hunyuan AI Infra: ganap na na-upgrade ang HPC-Ops inference core operators. 11 Hunyo 2026. https://new.nat6.net/fil/news/cmq99cd9g09skslldniw7u2ub/