Produits et applications

Tencent Hunyuan AI Infra open source : mise à niveau complète des opérateurs de raisonnement HPC-Ops

Résumé IA

L'équipe Tencent Hunyuan AI Infra a open source une mise à niveau de la bibliothèque d'opérateurs de raisonnement HPC-Ops, avec cinq opérateurs clés. Attention utilise une planification dynamique de la charge à l'exécution, avec un gain allant jusqu'à 2,95x sur les longs textes et une amélioration de 17 % du QPM de bout en bout ; Router GEMM atteint la précision FP32 via une combinaison de deux BF16, avec un gain allant jusqu'à 3,22x par rapport à CuBLAS FP32 ; FusedMoE améliore les performances de 1,2x à 1,6x par rapport à vLLM et SGLang ; Fused AllReduce+Norm offre un gain allant jusqu'à 1,68x face aux solutions dominantes ; Sampler fusionne l'échantillonnage de décodage en 2 CUDA Kernel, avec un gain de 4,0x à 7,5x par rapport à vLLM. Toutes ces capacités proviennent de la pratique de production et sont entièrement open source.

Points clés

  • L'équipe Tencent Hunyuan AI Infra a open source une mise à niveau de la bibliothèque d'opérateurs…
  • Attention utilise une planification dynamique de la charge à l'exécution,avec un gain allant…
  • Router GEMM atteint la précision FP32 via une combinaison de deux BF16,avec un gain allant jusqu'à…
  • FusedMoE améliore les performances de 1,2x à 1,6x par rapport à vLLM et SGLang
  • Fused AllReduce+Norm offre un gain allant jusqu'à 1,68x face aux solutions dominantes

En bref

Publié
Mis à jour
Source
公众号:腾讯混元
Catégorie
Produits et applications
Score IA
78
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Tencent Hunyuan AI Infra open source : mise à niveau complète des opérateurs de raisonnement HPC-Ops. 11. juin 2026. https://new.nat6.net/fr/news/cmq99cd9g09skslldniw7u2ub/

Tout voir →