Makalah & Riset

Bagaimana Ling-3.0-flash menurunkan latensi decoding batch 1 hingga 54% pada 4 GPU Blackwell

Judul asli:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team

Ringkasan AI

Tim Ling Infra Ant Group dan tim RadixArk SGLang meningkatkan kecepatan decoding satu permintaan model MoE dengan perhatian linear hibrida Ling-3.0-flash dari 288 tok/s menjadi 606 tok/s, dengan TPOT rata-rata turun dari 3,33 ms menjadi 1,53 ms.

Poin utama

  • Tim Ling Infra Ant Group dan tim RadixArk SGLang meningkatkan kecepatan decoding satu permintaan…
  • 0-flash dari 288 tok/s menjadi 606 tok/s,dengan TPOT rata-rata turun dari 3
  • 33 ms menjadi 1

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
LMSYS Blog
Kategori
Makalah & Riset
Skor AI
63
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Bagaimana Ling-3.0-flash menurunkan latensi decoding batch 1 hingga 54% pada 4 GPU Blackwell. 21 Agustus 2026. https://new.nat6.net/id/news/cmt393qov0kfhro6tuwhxhubl/

Lihat semua →