SGLang, DSpark 추측 디코딩 통합: 신뢰도 기반 가변 길이 검증
원제목:Blog DSpark in SGLang: Speculative Decoding with Confidence-Driven, Variable-Length Verification Speculative decoding trades extra compute for fewer decode steps, and the trade sours as load grows: at batch size B with K speculative tokens the target verifies B K tokens every step, and past a po... SGLang Team
AI 요약
SGLang 팀이 DSpark 추측 디코딩 알고리즘을 오픈소스 추론 엔진에 통합했다. 이 알고리즘은 반자기회귀 블록 드래프터로 한 번에 토큰 그룹을 생성하고 신뢰도 헤드와 순차 온도 스케일링(STS)으로 요청별 가변 검증 길이를 동적으로 할당해 고부하에서 무효 검증 비용을 줄인다. SGLang은 밀집 모델(예: Qwen3)과 희소 모델(예: DeepSeek-V4)을 지원하며 전체 CUDA 그래프로 불규칙한 요청별 검증 길이를 처리한다. `static`(전체 길이), `compact`(프로덕션 경로), `cap-accept`(수용 상한 측정) 세 가지 검증 모드를 제공한다. 제로 오버헤드 스케줄링, 오프라인 비용표 기반 온라인 스케줄러, 융합 Triton 커널 등 최적화도 도입했다. H200에서 DeepSeek-V4-Flash로 테스트한 결과 DSpark는 전체 동시성 스캔 범위에서 MTP 및 비추측 베이스라인보다 우수한 처리량-지연 트레이드오프를 달성했다.
핵심 정보
- SGLang 팀이 DSpark 추측 디코딩 알고리즘을 오픈소스 추론 엔진에 통합했다.
- 이 알고리즘은 반자기회귀 블록 드래프터로 한 번에 토큰 그룹을 생성하고 신뢰도 헤드와 순차 온도 스케일링(STS)으로 요청별 가변 검증 길이를 동적으로 할당해 고부하에서 무효…
- SGLang은 밀집 모델(예: Qwen3)과 희소 모델(예: DeepSeek-V4)을 지원하며 전체 CUDA 그래프로 불규칙한 요청별 검증 길이를 처리한다.
- `static`(전체 길이),`compact`(프로덕션 경로),`cap-accept`(수용 상한 측정) 세 가지 검증 모드를 제공한다.
- 제로 오버헤드 스케줄링,오프라인 비용표 기반 온라인 스케줄러,융합 Triton 커널 등 최적화도 도입했다.
한눈에 보기
- 게시
- 업데이트
- 출처
- LMSYS Blog
- 카테고리
- 제품 및 앱
- AI 점수
- 63
DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: SGLang, DSpark 추측 디코딩 통합: 신뢰도 기반 가변 길이 검증. 2026년 7월 6일. https://new.nat6.net/ko/news/cmr9h98co0470slsmqqc2ilv1/