Makalah & Riset

DFlash: Model Draf Difusi Blok Mencapai Peningkatan Throughput Hingga 15 Kali

Judul asli:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell

Ringkasan AI

DFlash diusulkan oleh tim UC San Diego, sebuah model draf difusi blok ringan untuk decoding spekulatif. Model ini menghasilkan seluruh blok token dalam satu inferensi forward, lalu diverifikasi secara paralel oleh model target, menjamin output tanpa kehilangan. Dibandingkan EAGLE-3, DFlash mencapai percepatan hingga 2,5 kali, dengan percepatan lossless rata-rata lebih dari 6 kali pada berbagai model seperti Qwen3-8B (mencapai 6,08× pada MATH-500). Pada NVIDIA Blackwell (TensorRT-LLM), throughput model gpt-oss-120b meningkat hingga 15 kali, sekitar 1,5 kali EAGLE-3. Inovasi intinya adalah menyuntikkan fitur tersembunyi multi-lapisan model target ke proyeksi Key-Value setiap lapisan model draf, sehingga panjang penerimaan tumbuh seiring kedalaman draf.

Poin utama

  • DFlash diusulkan oleh tim UC San Diego,sebuah model draf difusi blok ringan untuk decoding…
  • Model ini menghasilkan seluruh blok token dalam satu inferensi forward,lalu diverifikasi secara…
  • Dibandingkan EAGLE-3,DFlash mencapai percepatan hingga 2,5 kali,dengan percepatan lossless…
  • Pada NVIDIA Blackwell (TensorRT-LLM),throughput model gpt-oss-120b meningkat hingga 15…
  • Inovasi intinya adalah menyuntikkan fitur tersembunyi multi-lapisan model target ke proyeksi…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
MarkTechPost(RSS)
Kategori
Makalah & Riset
Skor AI
74
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: DFlash: Model Draf Difusi Blok Mencapai Peningkatan Throughput Hingga 15 Kali. 24 Juni 2026. https://new.nat6.net/id/news/cmqrrgnay0n08slp5phvdk394/

Lihat semua →