Mga Papel at Pananaliksik

DFlash: Block diffusion draft model na nagbibigay ng hanggang 15x throughput boost

Orihinal na pamagat:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell

AI summary

Ang DFlash ay isang magaan na block diffusion draft model para sa speculative decoding na iminungkahi ng UC San Diego team. Gumagawa ito ng buong bloke ng token sa isang forward inference, na sabay na bine-verify ng target model, kaya garantisadong lossless ang output. Kumpara sa EAGLE-3, nakakamit ng DFlash ang hanggang 2.5x na bilis, at may average na lossless speedup na mahigit 6x sa iba't ibang modelo tulad ng Qwen3-8B (6.08× sa MATH-500). Sa NVIDIA Blackwell (TensorRT-LLM), tumaas ang throughput ng gpt-oss-120b nang hanggang 15x, mga 1.5x ng EAGLE-3. Ang pangunahing inobasyon ay ang pag-inject ng multi-layer hidden features ng target model sa Key-Value projection ng bawat layer ng draft model, kaya lumalaki ang acceptance length kasabay ng draft depth.

Mahahalagang impormasyon

  • Ang DFlash ay isang magaan na block diffusion draft model para sa speculative decoding na…
  • Gumagawa ito ng buong bloke ng token sa isang forward inference,na sabay na bine-verify ng target…
  • Kumpara sa EAGLE-3,nakakamit ng DFlash ang hanggang 2.
  • 5x na bilis,at may average na lossless speedup na mahigit 6x sa iba't ibang modelo tulad ng…
  • 08× sa MATH-500).

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
MarkTechPost(RSS)
Kategorya
Mga Papel at Pananaliksik
AI na marka
74
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: DFlash: Block diffusion draft model na nagbibigay ng hanggang 15x throughput boost. 24 Hunyo 2026. https://new.nat6.net/fil/news/cmqrrgnay0n08slp5phvdk394/

Tingnan lahat →