論文・研究

Ling-3.0-flash、4基のBlackwell GPUでバッチ1のデコードレイテンシを54%削減

原題:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team

AI 要約

Ant Ling InfraチームとRadixArk SGLangチームは、Ling-3.0-flashハイブリッド線形アテンションMoEモデルの単一リクエストデコード速度を288 tok/sから606 tok/sに向上させ、平均TPOTを3.33 msから1.53 msに短縮した。

要点

  • Ant Ling InfraチームとRadixArk SGLangチームは、Ling-3.
  • 0-flashハイブリッド線形アテンションMoEモデルの単一リクエストデコード速度を288 tok/sから606 tok/sに向上させ、平均TPOTを3.
  • 33 msから1.
  • 53 msに短縮した

概要

公開日時
更新日時
出典
LMSYS Blog
カテゴリ
論文・研究
AI スコア
63
原文を読む 情報源で全文を読む
おすすめの理由

对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Ling-3.0-flash、4基のBlackwell GPUでバッチ1のデコードレイテンシを54%削減。2026年8月21日。https://new.nat6.net/ja/news/cmt393qov0kfhro6tuwhxhubl/

すべて見る →