Mga Papel at Pananaliksik

Paano binabawasan ng Ling-3.0-flash ang batch-1 decoding latency ng 54% sa 4 na Blackwell GPU

Orihinal na pamagat:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team

AI summary

Itinaas ng Ling Infra team ng Ant at RadixArk SGLang team ang single-request decoding speed ng Ling-3.0-flash hybrid linear attention MoE model mula 288 tok/s hanggang 606 tok/s, at bumaba ang average TPOT mula 3.33 ms hanggang 1.53 ms.

Mahahalagang impormasyon

  • Itinaas ng Ling Infra team ng Ant at RadixArk SGLang team ang single-request decoding speed ng…
  • 0-flash hybrid linear attention MoE model mula 288 tok/s hanggang 606 tok/s,at bumaba ang average…
  • 33 ms hanggang 1.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
LMSYS Blog
Kategorya
Mga Papel at Pananaliksik
AI na marka
63
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Paano binabawasan ng Ling-3.0-flash ang batch-1 decoding latency ng 54% sa 4 na Blackwell GPU. 21 Agosto 2026. https://new.nat6.net/fil/news/cmt393qov0kfhro6tuwhxhubl/

Tingnan lahat →