Ling-3.0-flash ลดความหน่วงในการถอดรหัสแบบแบตช์ 1 ลง 54% บน GPU Blackwell 4 ตัวได้อย่างไร
หัวข้อต้นฉบับ:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team
สรุปโดย AI
ทีม Ling Infra ของ Ant Group และทีม RadixArk SGLang เพิ่มความเร็วในการถอดรหัสคำขอเดี่ยวของ Ling-3.0-flash โมเดล MoE ที่ใช้ attention แบบเชิงเส้นผสม จาก 288 tok/s เป็น 606 tok/s โดย TPOT เฉลี่ยลดลงจาก 3.33 ms เหลือ 1.53 ms
ข้อมูลสำคัญ
- ทีม Ling Infra ของ Ant Group และทีม RadixArk SGLang เพิ่มความเร็วในการถอดรหัสคำขอเดี่ยวของ Ling-3.
- 0-flash โมเดล MoE ที่ใช้ attention แบบเชิงเส้นผสม จาก 288 tok/s เป็น 606 tok/s โดย TPOT…
- 33 ms เหลือ 1.
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- LMSYS Blog
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 63
对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Ling-3.0-flash ลดความหน่วงในการถอดรหัสแบบแบตช์ 1 ลง 54% บน GPU Blackwell 4 ตัวได้อย่างไร 21 สิงหาคม 2026 https://new.nat6.net/th/news/cmt393qov0kfhro6tuwhxhubl/