เปิดตัวโมเดล

การถอดรหัสแบบคาดการณ์รุ่นถัดไป: DFlash และ Spec V2

หัวข้อต้นฉบับ:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams

สรุปโดย AI

ทีม Z Lab, Modal และ SGLang ร่วมกันเปิดตัวโมเดลถอดรหัสแบบคาดการณ์ DFlash และเอนจิน Spec V2 ที่เป็นค่าเริ่มต้นของ SGLang DFlash ใช้การแพร่แบบบล็อกและการฉีด KV เพื่อสร้าง draft token ทั้งบล็อกแบบขนาน บน Qwen 3.5 397B-A17B (BF16) ชุดข้อมูล HumanEval ที่并发 1 ทำ吞吐量ได้ถึง 4.3 เท่าของ基线

ข้อมูลสำคัญ

  • ทีม Z Lab,Modal และ SGLang ร่วมกันเปิดตัวโมเดลถอดรหัสแบบคาดการณ์ DFlash และเอนจิน Spec V2…
  • 5 397B-A17B (BF16) ชุดข้อมูล HumanEval ที่并发 1 ทำ吞吐量ได้ถึง 4.
  • 3 เท่าของ基线

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
LMSYS Blog
หมวดหมู่
เปิดตัวโมเดล
คะแนน AI
67
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: การถอดรหัสแบบคาดการณ์รุ่นถัดไป: DFlash และ Spec V2 15 มิถุนายน 2026 https://new.nat6.net/th/news/cmqfhhoq001hksl2aw53w2wz8/

ดูทั้งหมด →