论文与研究

DFlash:块扩散草稿模型实现最高15倍吞吐量提升

原文标题:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell

AI 摘要

DFlash 由 UC San Diego 团队提出,是一种用于投机解码的轻量块扩散草稿模型。它一次前向推理生成整块 token,再由目标模型并行验证,保证输出无损。相比 EAGLE-3,DFlash 实现最高 2.5 倍加速,在 Qwen3-8B 等多种模型上平均无损加速超过 6 倍(MATH-500 达 6.08×)。在 NVIDIA Blackwell 上(TensorRT-LLM),gpt-oss-120b 模型吞吐量提升最高 15 倍,约为 EAGLE-3 的 1.5 倍。核心创新是将目标模型多层隐藏特征注入草稿模型每一层的 Key-Value 投影,使接受长度随草稿深度增长。

关键信息

  • DFlash 由 UC San Diego 团队提出,是一种用于投机解码的轻量块扩散草稿模型。
  • 它一次前向推理生成整块 token,再由目标模型并行验证,保证输出无损。
  • 相比 EAGLE-3,DFlash 实现最高 2.
  • 5 倍加速,在 Qwen3-8B 等多种模型上平均无损加速超过 6 倍(MATH-500 达 6.
  • 在 NVIDIA Blackwell 上(TensorRT-LLM),gpt-oss-120b 模型吞吐量提升最高 15 倍,约为 EAGLE-3 的 1.

速览

发布时间
更新时间
来源
MarkTechPost(RSS)
分类
论文与研究
AI 评分
74
阅读原文 前往信息源阅读完整正文
推荐理由

DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:DFlash:块扩散草稿模型实现最高15倍吞吐量提升。2026年6月24日。https://new.nat6.net/news/cmqrrgnay0n08slp5phvdk394/

查看全部 →
  • 思考即回忆:推理如何解锁LLM中的参数化知识

    Google Research研究发现,推理(chain-of-thought)能帮助大语言模型(LLM)回忆简单事实,即使这些事实无需复杂推导。在Gemini-2.5 Flash和Pro以及Qwen3-32B上,启用推理后模型能够回答原…

    Google Research:Blog(网页)论文与研究AI 评分 69

  • OpenAI内部报告:智能体Codex如何改变工作

    OpenAI 在2025年8月至2026年6月间观察到,智能体产品 Codex 取代 ChatGPT 成为主要工作工具,各部门输出 token 中 Codex 占比从不足10%升至99.8%。80.6%个体用户曾发起预计等效人类工作时间超…

    OpenAI:官网动态(RSS · 排除企业/客户案例)论文与研究AI 评分 65

  • 九位评委,两个有效投票:相关错误削弱LLM评审面板

    苹果机器学习研究团队发现,LLM-as-a-judge面板因模型间高度相关而严重受限。对7个模型家族的9个前沿大语言模型在3个自然语言推理数据集上的测试表明,9位评委实际仅提供约2个独立投票的信息量,面板准确率比独立投票理想值低8–22个…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 68

  • 冻结多token预测加速Pixel上的Gemini Nano模型

    Google Research提出一种新架构,在已冻结的Gemini Nano v3模型上改造Multi-Token Prediction(MTP),以加速Pixel 9和10系列上的设备端推理。该方法基于EAGLE框架和CALM,无需单…

    Google Research:Blog(网页)论文与研究AI 评分 55