Articles et recherche

Améliorer l'efficacité d'inférence des modèles MoE grâce au warp decode

Titre original:Better MoE model inference with warp decode

Résumé IA

Pour le décodage par petits lots sur les GPU Blackwell, la recherche propose une nouvelle méthode appelée « warp decode ». Elle renverse le chemin de calcul traditionnel centré sur les experts : chaque warp GPU calcule un neurone de sortie. Ce changement fondamental élimine cinq étapes de « comptabilité » purement dédiées à la gestion des données, et compresse toute la couche de calcul MoE en seulement deux noyaux. L'avantage est d'éviter le remplissage, la dispersion et les lectures/écritures de tampons intermédiaires, tout en bénéficiant d'une meilleure ordonnancement grâce à l'indépendance des warps. Sur les GPU Blackwell, la méthode offre un débit 1,84 fois supérieur, avec une précision de sortie meilleure : l'écart avec la référence FP32 complète est réduit d'un facteur 1,4, accélérant efficacement le cycle de R&D des modèles.

Points clés

  • Pour le décodage par petits lots sur les GPU Blackwell,la recherche propose une nouvelle méthode…
  • Elle renverse le chemin de calcul traditionnel centré sur les experts: chaque warp GPU calcule un…
  • Ce changement fondamental élimine cinq étapes de « comptabilité » purement dédiées à la gestion…
  • L'avantage est d'éviter le remplissage,la dispersion et les lectures/écritures de tampons…
  • Sur les GPU Blackwell,la méthode offre un débit 1,84 fois supérieur,avec une précision de sortie…

En bref

Publié
Mis à jour
Source
Cursor Blog
Catégorie
Articles et recherche
Score IA
66
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Améliorer l'efficacité d'inférence des modèles MoE grâce au warp decode. 6. avril 2026. https://new.nat6.net/fr/news/cmosbbgu40075slojjfiqhvmm/

Tout voir →