Kertas penyelidikan

Bagaimana Ling-3.0-flash mengurangkan kependaman penyahkodan kelompok 1 sebanyak 54% pada 4 GPU Blackwell

Tajuk asal:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team

Ringkasan AI

Pasukan Ling Infra Ant Group dan pasukan RadixArk SGLang meningkatkan kelajuan penyahkodan permintaan tunggal model MoE perhatian linear hibrid Ling-3.0-flash daripada 288 tok/s kepada 606 tok/s, dengan purata TPOT menurun daripada 3.33 ms kepada 1.53 ms.

Maklumat penting

  • Pasukan Ling Infra Ant Group dan pasukan RadixArk SGLang meningkatkan kelajuan penyahkodan…
  • 0-flash daripada 288 tok/s kepada 606 tok/s,dengan purata TPOT menurun daripada 3.
  • 33 ms kepada 1.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
LMSYS Blog
Kategori
Kertas penyelidikan
Skor AI
63
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Bagaimana Ling-3.0-flash mengurangkan kependaman penyahkodan kelompok 1 sebanyak 54% pada 4 GPU Blackwell. 21 Ogos 2026. https://new.nat6.net/ms/news/cmt393qov0kfhro6tuwhxhubl/

Lihat Semua →