Спекулятивное декодирование нового поколения: DFlash и Spec V2
Оригинальный заголовок:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams
ИИ-резюме
Команды Z Lab, Modal и SGLang совместно выпустили модель спекулятивного декодирования DFlash и движок Spec V2, ставший по умолчанию в SGLang. DFlash использует блочную диффузию с KV-инъекцией для параллельной генерации целого блока draft-токенов; на Qwen 3.5 397B-A17B (BF16) в наборе HumanEval при конкурентности 1 пропускная способность достигает 4,3 от базовой
Ключевые моменты
- Команды Z Lab,Modal и SGLang совместно выпустили модель спекулятивного декодирования DFlash и…
- DFlash использует блочную диффузию с KV-инъекцией для параллельной генерации целого блока…
- на Qwen 3.
- 5 397B-A17B (BF16) в наборе HumanEval при конкурентности 1 пропускная способность достигает 4,3 от…
Кратко
- Опубликовано
- Обновлено
- Источник
- LMSYS Blog
- Категория
- Релизы моделей
- Оценка ИИ
- 67
DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Спекулятивное декодирование нового поколения: DFlash и Spec V2. 15 июня 2026. https://new.nat6.net/ru/news/cmqfhhoq001hksl2aw53w2wz8/