モデル公開

次世代投機的デコーディング:DFlashとSpec V2

原題:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams

AI 要約

Z Lab、Modal、SGLangチームは共同でDFlash投機的デコーディングモデルとSGLangのデフォルトSpec V2エンジンを発表した。DFlashはブロック拡散とKV注入によりdraft tokenをブロック単位で並列生成し、Qwen 3.5 397B-A17B(BF16)のHumanEvalデータセット上、同時実行数1でスループットがベースラインの4.3倍に達した。

要点

  • Z Lab、Modal、SGLangチームは共同でDFlash投機的デコーディングモデルとSGLangのデフォルトSpec V2エンジンを発表した。
  • DFlashはブロック拡散とKV注入によりdraft tokenをブロック単位で並列生成し、Qwen 3.
  • 5 397B-A17B(BF16)のHumanEvalデータセット上、同時実行数1でスループットがベースラインの4.
  • 3倍に達した

概要

公開日時
更新日時
出典
LMSYS Blog
カテゴリ
モデル公開
AI スコア
67
原文を読む 情報源で全文を読む
おすすめの理由

DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:次世代投機的デコーディング:DFlashとSpec V2。2026年6月15日。https://new.nat6.net/ja/news/cmqfhhoq001hksl2aw53w2wz8/

すべて見る →