Релизы моделей

Спекулятивное декодирование нового поколения: DFlash и Spec V2

Оригинальный заголовок:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams

ИИ-резюме

Команды Z Lab, Modal и SGLang совместно выпустили модель спекулятивного декодирования DFlash и движок Spec V2, ставший по умолчанию в SGLang. DFlash использует блочную диффузию с KV-инъекцией для параллельной генерации целого блока draft-токенов; на Qwen 3.5 397B-A17B (BF16) в наборе HumanEval при конкурентности 1 пропускная способность достигает 4,3 от базовой

Ключевые моменты

  • Команды Z Lab,Modal и SGLang совместно выпустили модель спекулятивного декодирования DFlash и…
  • DFlash использует блочную диффузию с KV-инъекцией для параллельной генерации целого блока…
  • на Qwen 3.
  • 5 397B-A17B (BF16) в наборе HumanEval при конкурентности 1 пропускная способность достигает 4,3 от…

Кратко

Опубликовано
Обновлено
Источник
LMSYS Blog
Категория
Релизы моделей
Оценка ИИ
67
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Спекулятивное декодирование нового поколения: DFlash и Spec V2. 15 июня 2026. https://new.nat6.net/ru/news/cmqfhhoq001hksl2aw53w2wz8/

Смотреть все →