Статьи и исследования

Как Ling-3.0-flash снижает задержку декодирования при batch size 1 на 54% на четырёх GPU Blackwell

Оригинальный заголовок:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team

ИИ-резюме

Команда Ling Infra (Ant) совместно с командой RadixArk SGLang повысила скорость декодирования одного запроса для MoE-модели Ling-3.0-flash с гибридным линейным вниманием с 288 tok/s до 606 tok/s, а средний TPOT снизился с 3.33 мс до 1.53 мс.

Ключевые моменты

  • Команда Ling Infra (Ant) совместно с командой RadixArk SGLang повысила скорость декодирования…
  • 0-flash с гибридным линейным вниманием с 288 tok/s до 606 tok/s,а средний TPOT снизился с 3.
  • 33 мс до 1.

Кратко

Опубликовано
Обновлено
Источник
LMSYS Blog
Категория
Статьи и исследования
Оценка ИИ
63
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Как Ling-3.0-flash снижает задержку декодирования при batch size 1 на 54% на четырёх GPU Blackwell. 21 августа 2026. https://new.nat6.net/ru/news/cmt393qov0kfhro6tuwhxhubl/

Смотреть все →