Papers & Forschung

Wie Ling-3.0-flash die Decoding-Latenz bei Batch-Größe 1 auf vier Blackwell-GPUs um 54 % senkt

Originaltitel:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team

KI-Zusammenfassung

Das Ant Ling Infra Team und das RadixArk SGLang Team haben die Single-Request-Decoding-Geschwindigkeit des hybriden linearen Attention-MoE-Modells Ling-3.0-flash von 288 tok/s auf 606 tok/s gesteigert und die durchschnittliche TPOT von 3,33 ms auf 1,53 ms reduziert.

Kernpunkte

  • Das Ant Ling Infra Team und das RadixArk SGLang Team haben die…
  • 0-flash von 288 tok/s auf 606 tok/s gesteigert und die durchschnittliche TPOT von 3
  • 33 ms auf 1,53 ms reduziert.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
LMSYS Blog
Kategorie
Papers & Forschung
KI-Bewertung
63
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Wie Ling-3.0-flash die Decoding-Latenz bei Batch-Größe 1 auf vier Blackwell-GPUs um 54 % senkt. 21. August 2026. https://new.nat6.net/de/news/cmt393qov0kfhro6tuwhxhubl/

Alle ansehen →