HPC-Ops × SGLang : Tencent Hunyuan open source des opérateurs Attention, Router GEMM et MoE hautes performances
Titre original:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team
Résumé IA
La bibliothèque d'opérateurs open source HPC-Ops de Tencent Hunyuan est désormais intégrée à la branche principale de SGLang ; ses Dynamic Attention et Fused MoE réduisent le TPOT jusqu'à 48,8 % sur le modèle Hy3.
Points clés
- La bibliothèque d'opérateurs open source HPC-Ops de Tencent Hunyuan est désormais intégrée à la…
- ses Dynamic Attention et Fused MoE réduisent le TPOT jusqu'à 48
- 8 % sur le modèle Hy3.
En bref
- Publié
- Mis à jour
- Source
- LMSYS Blog
- Catégorie
- Produits et applications
- Score IA
- 76
HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : HPC-Ops × SGLang : Tencent Hunyuan open source des opérateurs Attention, Router GEMM et MoE hautes performances. 7. août 2026. https://new.nat6.net/fr/news/cmsj8rfkl02ruroo5uvyqiqiq/