모델 출시

차세대 투기적 디코딩: DFlash와 Spec V2

원제목:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams

AI 요약

Z Lab, Modal, SGLang 팀이 DFlash 투기적 디코딩 모델과 SGLang의 기본 Spec V2 엔진을 공동 발표했다. DFlash는 블록 확산+KV 주입으로 draft token 블록 전체를 병렬 생성하며, Qwen 3.5 397B-A17B(BF16)의 HumanEval 데이터셋에서 동시성 1일 때 처리량이 베이스라인의 4.3배에 달했다.

핵심 정보

  • Z Lab,Modal,SGLang 팀이 DFlash 투기적 디코딩 모델과 SGLang의 기본 Spec V2 엔진을 공동 발표했다.
  • DFlash는 블록 확산+KV 주입으로 draft token 블록 전체를 병렬 생성하며,Qwen 3.
  • 5 397B-A17B(BF16)의 HumanEval 데이터셋에서 동시성 1일 때 처리량이 베이스라인의 4.
  • 3배에 달했다.

한눈에 보기

게시
업데이트
출처
LMSYS Blog
카테고리
모델 출시
AI 점수
67
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 차세대 투기적 디코딩: DFlash와 Spec V2. 2026년 6월 15일. https://new.nat6.net/ko/news/cmqfhhoq001hksl2aw53w2wz8/

전체 보기 →