腾讯混元开源 AngelSpec 投机解码框架
原文标题:🚀 We’ve open-sourced AngelSpec, an end-to-end speculative decoding framework supporting both traini...
AI 摘要
腾讯混元开源端到端投机解码框架 AngelSpec,支持训练与部署。在 Hy3-A21B 模型上,其 DFly 方案相比自回归解码实现 1.98–2.40 倍端到端加速,吞吐量比 DFlash 高 10.5–11.8%。训练代码及 Hy3-A21B MTP/DFly 草稿模型权重已开源。
关键信息
- 腾讯混元开源端到端投机解码框架 AngelSpec,支持训练与部署。
- 在 Hy3-A21B 模型上,其 DFly 方案相比自回归解码实现 1.
- 40 倍端到端加速,吞吐量比 DFlash 高 10.
- 训练代码及 Hy3-A21B MTP/DFly 草稿模型权重已开源
- 做推理加速的可以试试这个端到端推测解码框架,腾讯开源了完整代码和权重,在 Hy3 上提速近 2.
速览
- 发布时间
- 更新时间
- 分类
- 产品与应用
- AI 评分
- 74
推荐理由
做推理加速的可以试试这个端到端推测解码框架,腾讯开源了完整代码和权重,在 Hy3 上提速近 2.4 倍且吞吐更高,拿来即用。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:腾讯混元开源 AngelSpec 投机解码框架。2026年7月29日。https://new.nat6.net/news/cms639jt416x6robksy69dzel/