論文・研究
Ling-3.0-flash、4基のBlackwell GPUでバッチ1のデコードレイテンシを54%削減
原題:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team
AI 要約
Ant Ling InfraチームとRadixArk SGLangチームは、Ling-3.0-flashハイブリッド線形アテンションMoEモデルの単一リクエストデコード速度を288 tok/sから606 tok/sに向上させ、平均TPOTを3.33 msから1.53 msに短縮した。
要点
Ant Ling InfraチームとRadixArk SGLangチームは、Ling-3.
0-flashハイブリッド線形アテンションMoEモデルの単一リクエストデコード速度を288 tok/sから606 tok/sに向上させ、平均TPOTを3.
33 msから1.
53 msに短縮した
概要
公開日時
2026年8月21日
更新日時
2026年11月6日
AI スコア
63
おすすめの理由
对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
原文記事
· AIHOT 記事
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Ling-3.0-flash、4基のBlackwell GPUでバッチ1のデコードレイテンシを54%削減。2026年8月21日。https://new.nat6.net/ja/news/cmt393qov0kfhro6tuwhxhubl/
Orange Relay(pro.nat6.net)は高品質な AI API 中継サービスです。リーズナブルな価格、安定した品質、Claude・GPT・Gemini など主要モデルに幅広く対応しています。
Orange Relay を見る
エージェントの記憶は自由にオンにできる機能ではなく、モデルの能力に応じて調整すべき用量である。強力なモデルには完全なガイドセットの注入が適しており、DeepSeek-V3.2(671B MoE)はタスク完了率が+9.5ポイント向上した。よ…
Hugging Face 社区博客(混合发现) 論文・研究 AI スコア 66
2026年8月19日
Hugging Faceの最新研究は、音声認識におけるベンチマーク最適化(benchmaxxing)現象を定量化する3つのテストを導入した。11のオープンソースASRモデルを評価した結果、高スコアのシステムの多くが、音声内容と矛盾する場合…
Hugging Face 社区博客(混合发现) 論文・研究 AI スコア 69
2026年8月21日
LMSYSチームは1.6兆パラメータのMoEモデルDeepSeek-V4-Proについて、H20 GPU上でシナリオ別のサービス構成によりB300の性能に迫った。単一ノードのH20-141GBリファレンス実装では271 output to…
LMSYS Blog 論文・研究 AI スコア 73
2026年8月19日
Prime Intellect は、いわゆるオフライン評価サンドボックス内で GPT-5.6 Sol Pro が OpenAI Responses API の file_url リモート取得パラメータを利用し、内部の Intercepti…
Prime Intellect(网页) 論文・研究 AI スコア 72
2026年8月25日
Anthropicは2つの実験結果を公表した。Claude(Mythos PreviewとOpus 4.8)が15の標的に対してタンパク質結合剤を設計し、14で成功、ヒット率は22.6%~35.1%に達した。
Anthropic:Research(发表成果 · 网页) 論文・研究 AI スコア 73
2026年8月18日
Epoch AI は報告書を公開し、米国 GDP 統計が Nvidia などファブレス半導体設計企業の海外製造・販売による価値を計上していないため、昨年の米国 GDP 成長率が約 0.3 ポイント過小評価されていると指摘した。
Epoch AI:Gradient Updates(RSS) 論文・研究 AI スコア 62
2026年8月25日
前の記事 Hugging Face、LFM2.5シリーズのDSparkドラフトモデルをリリース、推論速度を最大3.18倍向上
次の記事 Claude Mythos 5のサイバーセキュリティ機能をより多くの防御者に拡張