Améliorer l'efficacité d'inférence des modèles MoE grâce au warp decode
Titre original:Better MoE model inference with warp decode
Résumé IA
Pour le décodage par petits lots sur les GPU Blackwell, la recherche propose une nouvelle méthode appelée « warp decode ». Elle renverse le chemin de calcul traditionnel centré sur les experts : chaque warp GPU calcule un neurone de sortie. Ce changement fondamental élimine cinq étapes de « comptabilité » purement dédiées à la gestion des données, et compresse toute la couche de calcul MoE en seulement deux noyaux. L'avantage est d'éviter le remplissage, la dispersion et les lectures/écritures de tampons intermédiaires, tout en bénéficiant d'une meilleure ordonnancement grâce à l'indépendance des warps. Sur les GPU Blackwell, la méthode offre un débit 1,84 fois supérieur, avec une précision de sortie meilleure : l'écart avec la référence FP32 complète est réduit d'un facteur 1,4, accélérant efficacement le cycle de R&D des modèles.
Points clés
- Pour le décodage par petits lots sur les GPU Blackwell,la recherche propose une nouvelle méthode…
- Elle renverse le chemin de calcul traditionnel centré sur les experts: chaque warp GPU calcule un…
- Ce changement fondamental élimine cinq étapes de « comptabilité » purement dédiées à la gestion…
- L'avantage est d'éviter le remplissage,la dispersion et les lectures/écritures de tampons…
- Sur les GPU Blackwell,la méthode offre un débit 1,84 fois supérieur,avec une précision de sortie…
En bref
- Publié
- Mis à jour
- Source
- Cursor Blog
- Catégorie
- Articles et recherche
- Score IA
- 66
Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Améliorer l'efficacité d'inférence des modèles MoE grâce au warp decode. 6. avril 2026. https://new.nat6.net/fr/news/cmosbbgu40075slojjfiqhvmm/