Cómo Ling-3.0-flash reduce un 54% la latencia de decodificación con lote 1 en 4 GPU Blackwell
Título original:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team
Resumen de IA
El equipo Ling Infra de Ant y el equipo RadixArk SGLang elevan la velocidad de decodificación de una sola solicitud del modelo MoE de atención lineal híbrida Ling-3.0-flash de 288 tok/s a 606 tok/s, y reducen el TPOT medio de 3.33 ms a 1.53 ms.
Puntos clave
- El equipo Ling Infra de Ant y el equipo RadixArk SGLang elevan la velocidad de decodificación de…
- 0-flash de 288 tok/s a 606 tok/s,y reducen el TPOT medio de 3.
- 33 ms a 1.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- LMSYS Blog
- Categoría
- Artículos e investigación
- Puntuación IA
- 63
对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Cómo Ling-3.0-flash reduce un 54% la latencia de decodificación con lote 1 en 4 GPU Blackwell. 21. agosto 2026. https://new.nat6.net/es/news/cmt393qov0kfhro6tuwhxhubl/