Как Ling-3.0-flash снижает задержку декодирования при batch size 1 на 54% на четырёх GPU Blackwell
Оригинальный заголовок:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team
ИИ-резюме
Команда Ling Infra (Ant) совместно с командой RadixArk SGLang повысила скорость декодирования одного запроса для MoE-модели Ling-3.0-flash с гибридным линейным вниманием с 288 tok/s до 606 tok/s, а средний TPOT снизился с 3.33 мс до 1.53 мс.
Ключевые моменты
- Команда Ling Infra (Ant) совместно с командой RadixArk SGLang повысила скорость декодирования…
- 0-flash с гибридным линейным вниманием с 288 tok/s до 606 tok/s,а средний TPOT снизился с 3.
- 33 мс до 1.
Кратко
- Опубликовано
- Обновлено
- Источник
- LMSYS Blog
- Категория
- Статьи и исследования
- Оценка ИИ
- 63
对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Как Ling-3.0-flash снижает задержку декодирования при batch size 1 на 54% на четырёх GPU Blackwell. 21 августа 2026. https://new.nat6.net/ru/news/cmt393qov0kfhro6tuwhxhubl/