DFlash: Block diffusion draft model na nagbibigay ng hanggang 15x throughput boost
Orihinal na pamagat:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell
AI summary
Ang DFlash ay isang magaan na block diffusion draft model para sa speculative decoding na iminungkahi ng UC San Diego team. Gumagawa ito ng buong bloke ng token sa isang forward inference, na sabay na bine-verify ng target model, kaya garantisadong lossless ang output. Kumpara sa EAGLE-3, nakakamit ng DFlash ang hanggang 2.5x na bilis, at may average na lossless speedup na mahigit 6x sa iba't ibang modelo tulad ng Qwen3-8B (6.08× sa MATH-500). Sa NVIDIA Blackwell (TensorRT-LLM), tumaas ang throughput ng gpt-oss-120b nang hanggang 15x, mga 1.5x ng EAGLE-3. Ang pangunahing inobasyon ay ang pag-inject ng multi-layer hidden features ng target model sa Key-Value projection ng bawat layer ng draft model, kaya lumalaki ang acceptance length kasabay ng draft depth.
Mahahalagang impormasyon
- Ang DFlash ay isang magaan na block diffusion draft model para sa speculative decoding na…
- Gumagawa ito ng buong bloke ng token sa isang forward inference,na sabay na bine-verify ng target…
- Kumpara sa EAGLE-3,nakakamit ng DFlash ang hanggang 2.
- 5x na bilis,at may average na lossless speedup na mahigit 6x sa iba't ibang modelo tulad ng…
- 08× sa MATH-500).
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- MarkTechPost(RSS)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 74
DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: DFlash: Block diffusion draft model na nagbibigay ng hanggang 15x throughput boost. 24 Hunyo 2026. https://new.nat6.net/fil/news/cmqrrgnay0n08slp5phvdk394/