차세대 투기적 디코딩: DFlash와 Spec V2
원제목:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams
AI 요약
Z Lab, Modal, SGLang 팀이 DFlash 투기적 디코딩 모델과 SGLang의 기본 Spec V2 엔진을 공동 발표했다. DFlash는 블록 확산+KV 주입으로 draft token 블록 전체를 병렬 생성하며, Qwen 3.5 397B-A17B(BF16)의 HumanEval 데이터셋에서 동시성 1일 때 처리량이 베이스라인의 4.3배에 달했다.
핵심 정보
- Z Lab,Modal,SGLang 팀이 DFlash 투기적 디코딩 모델과 SGLang의 기본 Spec V2 엔진을 공동 발표했다.
- DFlash는 블록 확산+KV 주입으로 draft token 블록 전체를 병렬 생성하며,Qwen 3.
- 5 397B-A17B(BF16)의 HumanEval 데이터셋에서 동시성 1일 때 처리량이 베이스라인의 4.
- 3배에 달했다.
한눈에 보기
- 게시
- 업데이트
- 출처
- LMSYS Blog
- 카테고리
- 모델 출시
- AI 점수
- 67
DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: 차세대 투기적 디코딩: DFlash와 Spec V2. 2026년 6월 15일. https://new.nat6.net/ko/news/cmqfhhoq001hksl2aw53w2wz8/