ผลิตภัณฑ์และแอป

SGLang ผสาน DSpark speculative decoding: การตรวจสอบความยาวแบบแปรผันที่ขับเคลื่อนด้วยความมั่นใจ

หัวข้อต้นฉบับ:Blog DSpark in SGLang: Speculative Decoding with Confidence-Driven, Variable-Length Verification Speculative decoding trades extra compute for fewer decode steps, and the trade sours as load grows: at batch size B with K speculative tokens the target verifies B K tokens every step, and past a po... SGLang Team

สรุปโดย AI

ทีม SGLang ผสานอัลกอริทึม speculative decoding DSpark เข้ากับเอนจินการอนุมานโอเพนซอร์ส อัลกอริทึมนี้ใช้ drafter แบบ semi-autoregressive block สร้าง token กลุ่มหนึ่งในครั้งเดียว และใช้ confidence head กับ sequential temperature scaling (STS) เพื่อจัดสรรความยาวการตรวจสอบแบบแปรผันให้แต่ละคำขอแบบไดนามิก ลดต้นทุนการตรวจสอบที่ไม่จำเป็นภายใต้ภาระสูง SGLang รองรับโมเดล dense (เช่น Qwen3) และโมเดล sparse (เช่น DeepSeek-V4) โดยจัดการความยาวการตรวจสอบต่อคำขอที่ไม่สม่ำเสมอผ่าน CUDA graph แบบเต็ม มีโหมดการตรวจสอบสามแบบ: `static` (ความยาวเต็ม), `compact` (เส้นทางการผลิต) และ `cap-accept` (การวัดขีดจำกัดการยอมรับ) ยังเพิ่มการปรับแต่ง เช่น การจัดตารางแบบ zero-overhead, ตัวจัดตารางออนไลน์ที่อิงตารางต้นทุนออฟไลน์ และ Triton kernel แบบ fused ในการทดสอบด้วย DeepSeek-V4-Flash บน H200 DSpark ให้ความสมดุลระหว่าง throughput และ latency ที่ดีกว่า MTP และ baseline ที่ไม่ใช่ speculative ตลอดช่วงการสแกน concurrency

ข้อมูลสำคัญ

  • ทีม SGLang ผสานอัลกอริทึม speculative decoding DSpark เข้ากับเอนจินการอนุมานโอเพนซอร์ส…
  • `compact` (เส้นทางการผลิต) และ `cap-accept` (การวัดขีดจำกัดการยอมรับ) ยังเพิ่มการปรับแต่ง เช่น…
  • ตัวจัดตารางออนไลน์ที่อิงตารางต้นทุนออฟไลน์ และ Triton kernel แบบ fused ในการทดสอบด้วย…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
LMSYS Blog
หมวดหมู่
ผลิตภัณฑ์และแอป
คะแนน AI
63
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: SGLang ผสาน DSpark speculative decoding: การตรวจสอบความยาวแบบแปรผันที่ขับเคลื่อนด้วยความมั่นใจ 6 กรกฎาคม 2026 https://new.nat6.net/th/news/cmr9h98co0470slsmqqc2ilv1/

ดูทั้งหมด →