บทความและงานวิจัย

Ling-3.0-flash ลดความหน่วงในการถอดรหัสแบบแบตช์ 1 ลง 54% บน GPU Blackwell 4 ตัวได้อย่างไร

หัวข้อต้นฉบับ:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team

สรุปโดย AI

ทีม Ling Infra ของ Ant Group และทีม RadixArk SGLang เพิ่มความเร็วในการถอดรหัสคำขอเดี่ยวของ Ling-3.0-flash โมเดล MoE ที่ใช้ attention แบบเชิงเส้นผสม จาก 288 tok/s เป็น 606 tok/s โดย TPOT เฉลี่ยลดลงจาก 3.33 ms เหลือ 1.53 ms

ข้อมูลสำคัญ

  • ทีม Ling Infra ของ Ant Group และทีม RadixArk SGLang เพิ่มความเร็วในการถอดรหัสคำขอเดี่ยวของ Ling-3.
  • 0-flash โมเดล MoE ที่ใช้ attention แบบเชิงเส้นผสม จาก 288 tok/s เป็น 606 tok/s โดย TPOT…
  • 33 ms เหลือ 1.

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
LMSYS Blog
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
63
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Ling-3.0-flash ลดความหน่วงในการถอดรหัสแบบแบตช์ 1 ลง 54% บน GPU Blackwell 4 ตัวได้อย่างไร 21 สิงหาคม 2026 https://new.nat6.net/th/news/cmt393qov0kfhro6tuwhxhubl/

ดูทั้งหมด →