论文与研究

通过warp decode提升MoE模型推理效率

原文标题:Better MoE model inference with warp decode

AI 摘要

针对Blackwell GPU上的小批量解码,研究提出了一种名为“warp decode”的新方法。该方法颠覆了传统以专家为中心的计算路径,改为让每个GPU warp负责计算一个输出神经元。这一根本性改变消除了原有流程中五个纯数据管理的“簿记”步骤,将整个MoE计算层压缩为仅两个内核。其优势在于避免了填充、分散和中间缓冲区的读写,并通过warp独立性实现了更好的调度。在Blackwell GPU上,该方法实现了1.84倍的吞吐量提升,同时输出精度更高,与全FP32参考值的差距缩小了1.4倍,有效加速了模型研发流程。

关键信息

  • 针对Blackwell GPU上的小批量解码,研究提出了一种名为“warp decode”的新方法。
  • 该方法颠覆了传统以专家为中心的计算路径,改为让每个GPU warp负责计算一个输出神经元。
  • 这一根本性改变消除了原有流程中五个纯数据管理的“簿记”步骤,将整个MoE计算层压缩为仅两个内核。
  • 其优势在于避免了填充、分散和中间缓冲区的读写,并通过warp独立性实现了更好的调度。
  • 在Blackwell GPU上,该方法实现了1.

速览

发布时间
更新时间
来源
Cursor Blog
分类
论文与研究
AI 评分
66
阅读原文 前往信息源阅读完整正文
推荐理由

Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:通过warp decode提升MoE模型推理效率。2026年4月6日。https://new.nat6.net/news/cmosbbgu40075slojjfiqhvmm/

查看全部 →