Décodage spéculatif de nouvelle génération : DFlash et Spec V2
Titre original:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams
Résumé IA
Z Lab, Modal et l'équipe SGLang publient conjointement le modèle de décodage spéculatif DFlash et le moteur Spec V2 par défaut de SGLang. DFlash génère en parallèle des blocs entiers de tokens draft par diffusion par blocs et injection KV ; sur Qwen 3.5 397B-A17B (BF16) et le jeu de données HumanEval, avec une concurrence de 1, le débit atteint 4,3 fois celui de la référence
Points clés
- Z Lab,Modal et l'équipe SGLang publient conjointement le modèle de décodage spéculatif DFlash et…
- DFlash génère en parallèle des blocs entiers de tokens draft par diffusion par blocs et injection KV
- sur Qwen 3.
- 5 397B-A17B (BF16) et le jeu de données HumanEval,avec une concurrence de 1,le débit atteint 4,3…
En bref
- Publié
- Mis à jour
- Source
- LMSYS Blog
- Catégorie
- Sorties de modèles
- Score IA
- 67
DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Décodage spéculatif de nouvelle génération : DFlash et Spec V2. 15. juin 2026. https://new.nat6.net/fr/news/cmqfhhoq001hksl2aw53w2wz8/