SGLang интегрировала спекулятивное декодирование DSpark: проверка переменной длины на основе уверенности
Оригинальный заголовок:Blog DSpark in SGLang: Speculative Decoding with Confidence-Driven, Variable-Length Verification Speculative decoding trades extra compute for fewer decode steps, and the trade sours as load grows: at batch size B with K speculative tokens the target verifies B K tokens every step, and past a po... SGLang Team
ИИ-резюме
Команда SGLang интегрировала алгоритм спекулятивного декодирования DSpark в открытый движок вывода. Алгоритм использует полуавторегрессивный блочный драфтер, генерирующий группу токенов за раз, и с помощью головы уверенности и последовательного температурного масштабирования (STS) динамически назначает каждому запросу переменную длину проверки, сокращая бесполезные затраты на проверку при высокой нагрузке. SGLang поддерживает плотные модели (например, Qwen3) и разреженные (например, DeepSeek-V4), обрабатывая нерегулярную длину проверки на запрос через полный CUDA-граф. Доступны три режима проверки: `static` (полная длина), `compact` (продакшен-путь) и `cap-accept` (измерение верхней границы принятия). Также добавлены планирование без накладных расходов, онлайн-планировщик на основе офлайн-таблицы затрат, слитые Triton-ядра и др. В тестах на H200 с DeepSeek-V4-Flash DSpark во всём диапазоне конкурентности обеспечивает лучший компромисс пропускной способности и задержки, чем MTP и неспекулятивные бейзлайны.
Ключевые моменты
- Команда SGLang интегрировала алгоритм спекулятивного декодирования DSpark в открытый движок вывода.
- Алгоритм использует полуавторегрессивный блочный драфтер,генерирующий группу токенов за раз,и с…
- SGLang поддерживает плотные модели (например,Qwen3) и разреженные…
- Доступны три режима проверки: `static` (полная длина),`compact` (продакшен-путь) и `cap-accept`…
- Также добавлены планирование без накладных расходов,онлайн-планировщик на основе офлайн-таблицы…
Кратко
- Опубликовано
- Обновлено
- Источник
- LMSYS Blog
- Категория
- Продукты и приложения
- Оценка ИИ
- 63
DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: SGLang интегрировала спекулятивное декодирование DSpark: проверка переменной длины на основе уверенности. 6 июля 2026. https://new.nat6.net/ru/news/cmr9h98co0470slsmqqc2ilv1/