SGLang ผสาน DSpark speculative decoding: การตรวจสอบความยาวแบบแปรผันที่ขับเคลื่อนด้วยความมั่นใจ
หัวข้อต้นฉบับ:Blog DSpark in SGLang: Speculative Decoding with Confidence-Driven, Variable-Length Verification Speculative decoding trades extra compute for fewer decode steps, and the trade sours as load grows: at batch size B with K speculative tokens the target verifies B K tokens every step, and past a po... SGLang Team
สรุปโดย AI
ทีม SGLang ผสานอัลกอริทึม speculative decoding DSpark เข้ากับเอนจินการอนุมานโอเพนซอร์ส อัลกอริทึมนี้ใช้ drafter แบบ semi-autoregressive block สร้าง token กลุ่มหนึ่งในครั้งเดียว และใช้ confidence head กับ sequential temperature scaling (STS) เพื่อจัดสรรความยาวการตรวจสอบแบบแปรผันให้แต่ละคำขอแบบไดนามิก ลดต้นทุนการตรวจสอบที่ไม่จำเป็นภายใต้ภาระสูง SGLang รองรับโมเดล dense (เช่น Qwen3) และโมเดล sparse (เช่น DeepSeek-V4) โดยจัดการความยาวการตรวจสอบต่อคำขอที่ไม่สม่ำเสมอผ่าน CUDA graph แบบเต็ม มีโหมดการตรวจสอบสามแบบ: `static` (ความยาวเต็ม), `compact` (เส้นทางการผลิต) และ `cap-accept` (การวัดขีดจำกัดการยอมรับ) ยังเพิ่มการปรับแต่ง เช่น การจัดตารางแบบ zero-overhead, ตัวจัดตารางออนไลน์ที่อิงตารางต้นทุนออฟไลน์ และ Triton kernel แบบ fused ในการทดสอบด้วย DeepSeek-V4-Flash บน H200 DSpark ให้ความสมดุลระหว่าง throughput และ latency ที่ดีกว่า MTP และ baseline ที่ไม่ใช่ speculative ตลอดช่วงการสแกน concurrency
ข้อมูลสำคัญ
- ทีม SGLang ผสานอัลกอริทึม speculative decoding DSpark เข้ากับเอนจินการอนุมานโอเพนซอร์ส…
- `compact` (เส้นทางการผลิต) และ `cap-accept` (การวัดขีดจำกัดการยอมรับ) ยังเพิ่มการปรับแต่ง เช่น…
- ตัวจัดตารางออนไลน์ที่อิงตารางต้นทุนออฟไลน์ และ Triton kernel แบบ fused ในการทดสอบด้วย…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- LMSYS Blog
- หมวดหมู่
- ผลิตภัณฑ์และแอป
- คะแนน AI
- 63
DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: SGLang ผสาน DSpark speculative decoding: การตรวจสอบความยาวแบบแปรผันที่ขับเคลื่อนด้วยความมั่นใจ 6 กรกฎาคม 2026 https://new.nat6.net/th/news/cmr9h98co0470slsmqqc2ilv1/