Artículos e investigación

Cómo Ling-3.0-flash reduce un 54% la latencia de decodificación con lote 1 en 4 GPU Blackwell

Título original:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team

Resumen de IA

El equipo Ling Infra de Ant y el equipo RadixArk SGLang elevan la velocidad de decodificación de una sola solicitud del modelo MoE de atención lineal híbrida Ling-3.0-flash de 288 tok/s a 606 tok/s, y reducen el TPOT medio de 3.33 ms a 1.53 ms.

Puntos clave

  • El equipo Ling Infra de Ant y el equipo RadixArk SGLang elevan la velocidad de decodificación de…
  • 0-flash de 288 tok/s a 606 tok/s,y reducen el TPOT medio de 3.
  • 33 ms a 1.

Resumen rápido

Publicado
Actualizado
Fuente
LMSYS Blog
Categoría
Artículos e investigación
Puntuación IA
63
Leer el original Leer el artículo completo en la fuente original
Por qué importa

对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Cómo Ling-3.0-flash reduce un 54% la latencia de decodificación con lote 1 en 4 GPU Blackwell. 21. agosto 2026. https://new.nat6.net/es/news/cmt393qov0kfhro6tuwhxhubl/

Ver todo →