DFlash: Model Draf Difusi Blok Mencapai Peningkatan Throughput Hingga 15 Kali
Judul asli:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell
Ringkasan AI
DFlash diusulkan oleh tim UC San Diego, sebuah model draf difusi blok ringan untuk decoding spekulatif. Model ini menghasilkan seluruh blok token dalam satu inferensi forward, lalu diverifikasi secara paralel oleh model target, menjamin output tanpa kehilangan. Dibandingkan EAGLE-3, DFlash mencapai percepatan hingga 2,5 kali, dengan percepatan lossless rata-rata lebih dari 6 kali pada berbagai model seperti Qwen3-8B (mencapai 6,08× pada MATH-500). Pada NVIDIA Blackwell (TensorRT-LLM), throughput model gpt-oss-120b meningkat hingga 15 kali, sekitar 1,5 kali EAGLE-3. Inovasi intinya adalah menyuntikkan fitur tersembunyi multi-lapisan model target ke proyeksi Key-Value setiap lapisan model draf, sehingga panjang penerimaan tumbuh seiring kedalaman draf.
Poin utama
- DFlash diusulkan oleh tim UC San Diego,sebuah model draf difusi blok ringan untuk decoding…
- Model ini menghasilkan seluruh blok token dalam satu inferensi forward,lalu diverifikasi secara…
- Dibandingkan EAGLE-3,DFlash mencapai percepatan hingga 2,5 kali,dengan percepatan lossless…
- Pada NVIDIA Blackwell (TensorRT-LLM),throughput model gpt-oss-120b meningkat hingga 15…
- Inovasi intinya adalah menyuntikkan fitur tersembunyi multi-lapisan model target ke proyeksi…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- MarkTechPost(RSS)
- Kategori
- Makalah & Riset
- Skor AI
- 74
DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: DFlash: Model Draf Difusi Blok Mencapai Peningkatan Throughput Hingga 15 Kali. 24 Juni 2026. https://new.nat6.net/id/news/cmqrrgnay0n08slp5phvdk394/