Wie Ling-3.0-flash die Decoding-Latenz bei Batch-Größe 1 auf vier Blackwell-GPUs um 54 % senkt
Originaltitel:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team
KI-Zusammenfassung
Das Ant Ling Infra Team und das RadixArk SGLang Team haben die Single-Request-Decoding-Geschwindigkeit des hybriden linearen Attention-MoE-Modells Ling-3.0-flash von 288 tok/s auf 606 tok/s gesteigert und die durchschnittliche TPOT von 3,33 ms auf 1,53 ms reduziert.
Kernpunkte
- Das Ant Ling Infra Team und das RadixArk SGLang Team haben die…
- 0-flash von 288 tok/s auf 606 tok/s gesteigert und die durchschnittliche TPOT von 3
- 33 ms auf 1,53 ms reduziert.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- LMSYS Blog
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 63
对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Wie Ling-3.0-flash die Decoding-Latenz bei Batch-Größe 1 auf vier Blackwell-GPUs um 54 % senkt. 21. August 2026. https://new.nat6.net/de/news/cmt393qov0kfhro6tuwhxhubl/