DFlash:ブロック拡散ドラフトモデルで最大15倍のスループット向上
原題:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell
AI 要約
DFlashはUC San Diegoのチームが提案した、投機的デコード向けの軽量ブロック拡散ドラフトモデルである。1回のフォワード推論でトークンのブロック全体を生成し、その後ターゲットモデルが並列検証するため、出力は無損失に保たれる。EAGLE-3と比較して最大2.5倍の高速化を実現し、Qwen3-8Bなど複数モデルで平均6倍超の無損失高速化(MATH-500では6.08×)を達成した。NVIDIA Blackwell上(TensorRT-LLM)ではgpt-oss-120bモデルのスループットが最大15倍向上し、EAGLE-3の約1.5倍となった。中核となる革新は、ターゲットモデルの多層隠れ特徴をドラフトモデル各層のKey-Value投影に注入し、ドラフト深度に応じて受け入れ長を伸ばす点にある。
要点
- DFlashはUC San Diegoのチームが提案した、投機的デコード向けの軽量ブロック拡散ドラフトモデルである。
- 1回のフォワード推論でトークンのブロック全体を生成し、その後ターゲットモデルが並列検証するため、出力は無損失に保たれる。
- EAGLE-3と比較して最大2.
- 5倍の高速化を実現し、Qwen3-8Bなど複数モデルで平均6倍超の無損失高速化(MATH-500では6.
- 08×)を達成した。
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 74
DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:DFlash:ブロック拡散ドラフトモデルで最大15倍のスループット向上。2026年6月24日。https://new.nat6.net/ja/news/cmqrrgnay0n08slp5phvdk394/