腾讯混元 AI Infra 新开源:HPC-Ops 推理核心算子全面升级
AI 摘要
腾讯混元 AI Infra 团队开源升级 HPC-Ops 推理算子库,推出五大核心算子。Attention 采用运行时动态负载调度,长文本最高加速 2.95x,端到端 QPM 提升 17%;Router GEMM 以双 BF16 组合实现 FP32 精度,对比 CuBLAS FP32 最高提速 3.22x;FusedMoE 相对 vLLM、SGLang 性能提升 1.2x~1.6x;Fused AllReduce+Norm 对比主流方案最高提速 1.68x;Sampler 将解码采样融合为 2 个 CUDA Kernel,相对 vLLM 提速 4.0x~7.5x。所有能力均来自生产实践并完全开源。
关键信息
- 腾讯混元 AI Infra 团队开源升级 HPC-Ops 推理算子库,推出五大核心算子。
- Attention 采用运行时动态负载调度,长文本最高加速 2.
- 95x,端到端 QPM 提升 17%
- Router GEMM 以双 BF16 组合实现 FP32 精度,对比 CuBLAS FP32 最高提速 3.
- FusedMoE 相对 vLLM、SGLang 性能提升 1.
速览
推荐理由
腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:腾讯混元 AI Infra 新开源:HPC-Ops 推理核心算子全面升级。2026年6月11日。https://new.nat6.net/news/cmq99cd9g09skslldniw7u2ub/