논문 및 연구

DFlash: 블록 확산 드래프트 모델로 최대 15배 처리량 향상

원제목:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell

AI 요약

DFlash는 UC San Diego 팀이 제안한 투기적 디코딩용 경량 블록 확산 드래프트 모델이다. 한 번의 순방향 추론으로 토큰 블록 전체를 생성한 뒤 대상 모델이 병렬 검증해 출력 무손실을 보장한다. EAGLE-3 대비 최대 2.5배 가속을 구현했으며 Qwen3-8B 등 여러 모델에서 평균 무손실 가속이 6배를 넘는다(MATH-500에서 6.08×). NVIDIA Blackwell(TensorRT-LLM)에서 gpt-oss-120b 모델 처리량이 최대 15배 향상되어 EAGLE-3의 약 1.5배다. 핵심 혁신은 대상 모델의 다층 은닉 특징을 드래프트 모델 각 층의 Key-Value 투영에 주입해 수용 길이가 드래프트 깊이에 따라 증가하도록 한 것이다.

핵심 정보

  • DFlash는 UC San Diego 팀이 제안한 투기적 디코딩용 경량 블록 확산 드래프트 모델이다.
  • 한 번의 순방향 추론으로 토큰 블록 전체를 생성한 뒤 대상 모델이 병렬 검증해 출력 무손실을 보장한다.
  • EAGLE-3 대비 최대 2.
  • 5배 가속을 구현했으며 Qwen3-8B 등 여러 모델에서 평균 무손실 가속이 6배를 넘는다(MATH-500에서 6.
  • NVIDIA Blackwell(TensorRT-LLM)에서 gpt-oss-120b 모델 처리량이 최대 15배 향상되어 EAGLE-3의 약 1.

한눈에 보기

게시
업데이트
출처
MarkTechPost(RSS)
카테고리
논문 및 연구
AI 점수
74
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: DFlash: 블록 확산 드래프트 모델로 최대 15배 처리량 향상. 2026년 6월 24일. https://new.nat6.net/ko/news/cmqrrgnay0n08slp5phvdk394/

전체 보기 →