Articles et recherche

Comment Ling-3.0-flash réduit de 54 % la latence de décodage avec un batch de 1 sur 4 GPU Blackwell

Titre original:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team

Résumé IA

L'équipe Ant Ling Infra et l'équipe RadixArk SGLang ont porté la vitesse de décodage d'une requête unique du modèle MoE à attention linéaire hybride Ling-3.0-flash de 288 tok/s à 606 tok/s, faisant passer le TPOT moyen de 3,33 ms à 1,53 ms.

Points clés

  • L'équipe Ant Ling Infra et l'équipe RadixArk SGLang ont porté la vitesse de décodage d'une requête…
  • 0-flash de 288 tok/s à 606 tok/s,faisant passer le TPOT moyen de 3
  • 33 ms à 1

En bref

Publié
Mis à jour
Source
LMSYS Blog
Catégorie
Articles et recherche
Score IA
63
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Comment Ling-3.0-flash réduit de 54 % la latence de décodage avec un batch de 1 sur 4 GPU Blackwell. 21. août 2026. https://new.nat6.net/fr/news/cmt393qov0kfhro6tuwhxhubl/

Tout voir →