Produkte & Apps

SGLang integriert DSpark-Spekulativdekodierung: konfidenzgesteuerte Verifikation mit variabler Länge

Originaltitel:Blog DSpark in SGLang: Speculative Decoding with Confidence-Driven, Variable-Length Verification Speculative decoding trades extra compute for fewer decode steps, and the trade sours as load grows: at batch size B with K speculative tokens the target verifies B K tokens every step, and past a po... SGLang Team

KI-Zusammenfassung

Das SGLang-Team hat den Spekulativdekodierungsalgorithmus DSpark in die Open-Source-Inferenzengine integriert. Der Algorithmus verwendet einen halb-autoregressiven Block-Drafter, der jeweils eine Gruppe von Tokens erzeugt, und nutzt einen Konfidenz-Head sowie sequenzielle Temperaturskalierung (STS), um für jede Anfrage dynamisch eine variable Verifikationslänge zuzuweisen und so unter hoher Last unnötige Verifikationskosten zu reduzieren. SGLang unterstützt dichte Modelle (wie Qwen3) und sparse Modelle (wie DeepSeek-V4) und verarbeitet unregelmäßige Verifikationslängen pro Anfrage über vollständige CUDA-Graphen. Es gibt drei Verifikationsmodi: `static` (volle Länge), `compact` (Produktionspfad) und `cap-accept` (Messung der Akzeptanzobergrenze). Zudem wurden Zero-Overhead-Scheduling, ein Online-Scheduler auf Basis einer Offline-Kostentabelle und fusionierte Triton-Kernel eingeführt. In Tests mit DeepSeek-V4-Flash auf H200 erzielt DSpark über den gesamten Bereich der Parallelität hinweg ein besseres Durchsatz-Latenz-Verhältnis als MTP und nicht-spekulative Baselines.

Kernpunkte

  • Das SGLang-Team hat den Spekulativdekodierungsalgorithmus DSpark in die Open-Source-Inferenzengine…
  • Der Algorithmus verwendet einen halb-autoregressiven Block-Drafter,der jeweils eine Gruppe von…
  • SGLang unterstützt dichte Modelle (wie Qwen3) und sparse Modelle (wie DeepSeek-V4) und verarbeitet…
  • Es gibt drei Verifikationsmodi: `static` (volle Länge),`compact` (Produktionspfad) und…
  • Zudem wurden Zero-Overhead-Scheduling,ein Online-Scheduler auf Basis einer Offline-Kostentabelle…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
LMSYS Blog
Kategorie
Produkte & Apps
KI-Bewertung
63
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: SGLang integriert DSpark-Spekulativdekodierung: konfidenzgesteuerte Verifikation mit variabler Länge. 6. Juli 2026. https://new.nat6.net/de/news/cmr9h98co0470slsmqqc2ilv1/

Alle ansehen →