产品与应用

腾讯混元 AI Infra 新开源:HPC-Ops 推理核心算子全面升级

AI 摘要

腾讯混元 AI Infra 团队开源升级 HPC-Ops 推理算子库,推出五大核心算子。Attention 采用运行时动态负载调度,长文本最高加速 2.95x,端到端 QPM 提升 17%;Router GEMM 以双 BF16 组合实现 FP32 精度,对比 CuBLAS FP32 最高提速 3.22x;FusedMoE 相对 vLLM、SGLang 性能提升 1.2x~1.6x;Fused AllReduce+Norm 对比主流方案最高提速 1.68x;Sampler 将解码采样融合为 2 个 CUDA Kernel,相对 vLLM 提速 4.0x~7.5x。所有能力均来自生产实践并完全开源。

关键信息

  • 腾讯混元 AI Infra 团队开源升级 HPC-Ops 推理算子库,推出五大核心算子。
  • Attention 采用运行时动态负载调度,长文本最高加速 2.
  • 95x,端到端 QPM 提升 17%
  • Router GEMM 以双 BF16 组合实现 FP32 精度,对比 CuBLAS FP32 最高提速 3.
  • FusedMoE 相对 vLLM、SGLang 性能提升 1.

速览

发布时间
更新时间
来源
公众号:腾讯混元
分类
产品与应用
AI 评分
78
阅读原文 前往信息源阅读完整正文
推荐理由

腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:腾讯混元 AI Infra 新开源:HPC-Ops 推理核心算子全面升级。2026年6月11日。https://new.nat6.net/news/cmq99cd9g09skslldniw7u2ub/

查看全部 →
  • Deezer 推出面向其他流媒体服务的 AI 音乐检测器

    Deezer 将扫描用户在其它流媒体平台的播放列表,检测其中的 AI 生成音乐。Deezer 是最早标记 AI 生成音乐的大型流媒体服务之一,曾向其他平台提供该技术但少有采纳。Deezer CEO Alexis Lanternier 表示…

    The Verge:AI(RSS)产品与应用AI 评分 73

  • 千问推出首个足球预测AI助手,竞猜赢奖并捐建球场

    千问上线首个足球预测AI助手,基于海量大数据(含历史比赛、球员数据、伤病、美加墨地貌及天气等)。以6月22日挪威对塞内加尔为例,预测“1:1平局”,理由为气候差异。活动:参与全部104场竞猜,预测超80场且准确率超千问可抽万元大奖(100…

    公众号:千问APP(阿里)产品与应用AI 评分 72

  • xAI 推出 Grok Build Plugin Marketplace

    xAI 今日发布 Grok Build 内置插件市场。插件将技能、斜杠命令、AI 智能体、钩子、MCP 服务器和 LSP 打包为可安装包,用户无需离开终端即可浏览、安装和更新。首发合作伙伴包括 MongoDB、Vercel、Sentry、…

    xAI:News(网页)产品与应用AI 评分 70

  • Claude Code v2.1.172 发布

    子智能体现可创建自己的子智能体,最多嵌套5层。Amazon Bedrock 在未设置 AWS_REGION 时从 ~/.aws/config 读取区域。插件市场新增搜索栏。修复了使用1M上下文且无使用额度的会话永久卡住的问题,现会自动压缩…

    Claude Code:GitHub Releases(RSS)产品与应用AI 评分 69