Produits et applications

SGLang intègre le décodage spéculatif DSpark : vérification à longueur variable guidée par la confiance

Titre original:Blog DSpark in SGLang: Speculative Decoding with Confidence-Driven, Variable-Length Verification Speculative decoding trades extra compute for fewer decode steps, and the trade sours as load grows: at batch size B with K speculative tokens the target verifies B K tokens every step, and past a po... SGLang Team

Résumé IA

L'équipe SGLang a intégré l'algorithme de décodage spéculatif DSpark dans le moteur d'inférence open source. L'algorithme utilise un rédacteur de blocs semi-autorégressif générant un groupe de tokens à la fois, et s'appuie sur une tête de confiance et un ajustement de température séquentiel (STS) pour attribuer dynamiquement à chaque requête une longueur de vérification variable, réduisant ainsi le coût des vérifications inutiles sous forte charge. SGLang prend en charge les modèles denses (comme Qwen3) et creux (comme DeepSeek-V4), en gérant les longueurs de vérification irrégulières par requête via des graphes CUDA complets. Trois modes de vérification sont proposés : `static` (longueur complète), `compact` (chemin de production) et `cap-accept` (mesure du plafond d'acceptation). Des optimisations ont aussi été introduites : ordonnancement sans surcoût, ordonnanceur en ligne fondé sur une table de coûts hors ligne, noyaux Triton fusionnés. Sur H200 avec DeepSeek-V4-Flash, DSpark offre sur toute la plage de concurrence testée un meilleur compromis débit-latence que MTP et les baselines non spéculatives.

Points clés

  • L'équipe SGLang a intégré l'algorithme de décodage spéculatif DSpark dans le moteur d'inférence…
  • L'algorithme utilise un rédacteur de blocs semi-autorégressif générant un groupe de tokens à la…
  • SGLang prend en charge les modèles denses (comme Qwen3) et creux (comme DeepSeek-V4),en gérant les…
  • Trois modes de vérification sont proposés: `static` (longueur complète),`compact` (chemin de…
  • Des optimisations ont aussi été introduites: ordonnancement sans surcoût,ordonnanceur en ligne…

En bref

Publié
Mis à jour
Source
LMSYS Blog
Catégorie
Produits et applications
Score IA
63
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : SGLang intègre le décodage spéculatif DSpark : vérification à longueur variable guidée par la confiance. 6. juillet 2026. https://new.nat6.net/fr/news/cmr9h98co0470slsmqqc2ilv1/

Tout voir →