製品とアプリ

SGLang、DSpark投機的デコーディングを統合:信頼度駆動の可変長検証

原題:Blog DSpark in SGLang: Speculative Decoding with Confidence-Driven, Variable-Length Verification Speculative decoding trades extra compute for fewer decode steps, and the trade sours as load grows: at batch size B with K speculative tokens the target verifies B K tokens every step, and past a po... SGLang Team

AI 要約

SGLangチームはDSpark投機的デコーディングアルゴリズムをオープンソース推論エンジンに統合した。同アルゴリズムは半自己回帰ブロックドラフターで一度に一群のトークンを生成し、信頼度ヘッドと順序温度スケーリング(STS)を用いてリクエストごとに可変検証長を動的に割り当て、高負荷時に無効な検証コストを削減する。SGLangは密モデル(Qwen3など)と疎モデル(DeepSeek-V4など)をサポートし、全CUDAグラフでリクエストごとの不規則な検証長を処理する。3つの検証モードを提供する。`static`(全長)、`compact`(本番パス)、`cap-accept`(受け入れ上限測定)。さらにゼロオーバーヘッドスケジューリング、オフラインコスト表に基づくオンラインスケジューラ、融合Tritonカーネルなどの最適化を導入した。H200でDeepSeek-V4-Flashを用いたテストでは、DSparkは並行度スキャン全体でMTPおよび非投機ベースラインよりも優れたスループット・遅延トレードオフを実現した。

要点

  • SGLangチームはDSpark投機的デコーディングアルゴリズムをオープンソース推論エンジンに統合した。
  • 同アルゴリズムは半自己回帰ブロックドラフターで一度に一群のトークンを生成し、信頼度ヘッドと順序温度スケーリング(STS)を用いてリクエストごとに可変検証長を動的に割り当て、高負荷時に無効な検証コスト…
  • SGLangは密モデル(Qwen3など)と疎モデル(DeepSeek-V4など)をサポートし、全CUDAグラフでリクエストごとの不規則な検証長を処理する。
  • 3つの検証モードを提供する。
  • `static`(全長)、`compact`(本番パス)、`cap-accept`(受け入れ上限測定)。

概要

公開日時
更新日時
出典
LMSYS Blog
カテゴリ
製品とアプリ
AI スコア
63
原文を読む 情報源で全文を読む
おすすめの理由

DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:SGLang、DSpark投機的デコーディングを統合:信頼度駆動の可変長検証。2026年7月6日。https://new.nat6.net/ja/news/cmr9h98co0470slsmqqc2ilv1/

すべて見る →