产品与应用

腾讯混元开源 AngelSpec 投机解码框架

原文标题:🚀 We’ve open-sourced AngelSpec, an end-to-end speculative decoding framework supporting both traini...

AI 摘要

腾讯混元开源端到端投机解码框架 AngelSpec,支持训练与部署。在 Hy3-A21B 模型上,其 DFly 方案相比自回归解码实现 1.98–2.40 倍端到端加速,吞吐量比 DFlash 高 10.5–11.8%。训练代码及 Hy3-A21B MTP/DFly 草稿模型权重已开源。

关键信息

  • 腾讯混元开源端到端投机解码框架 AngelSpec,支持训练与部署。
  • 在 Hy3-A21B 模型上,其 DFly 方案相比自回归解码实现 1.
  • 40 倍端到端加速,吞吐量比 DFlash 高 10.
  • 训练代码及 Hy3-A21B MTP/DFly 草稿模型权重已开源
  • 做推理加速的可以试试这个端到端推测解码框架,腾讯开源了完整代码和权重,在 Hy3 上提速近 2.

速览

发布时间
更新时间
来源
X:腾讯混元 (@TencentHunyuan)
分类
产品与应用
AI 评分
74
阅读原文 前往信息源阅读完整正文
推荐理由

做推理加速的可以试试这个端到端推测解码框架,腾讯开源了完整代码和权重,在 Hy3 上提速近 2.4 倍且吞吐更高,拿来即用。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:腾讯混元开源 AngelSpec 投机解码框架。2026年7月29日。https://new.nat6.net/news/cms639jt416x6robksy69dzel/

查看全部 →