Kertas penyelidikan

DFlash: Model Draf Resapan Blok Mencapai Peningkatan Daya Pemprosesan Sehingga 15 Kali

Tajuk asal:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell

Ringkasan AI

DFlash yang dicadangkan oleh pasukan UC San Diego ialah model draf resapan blok ringan untuk penyahkodan spekulatif. Ia menjana satu blok token dalam satu inferens hadapan, kemudian disahkan secara selari oleh model sasaran, menjamin output tanpa kehilangan. Berbanding EAGLE-3, DFlash mencapai pecutan sehingga 2.5 kali, dengan pecutan tanpa kehilangan purata melebihi 6 kali pada pelbagai model seperti Qwen3-8B (MATH-500 mencapai 6.08×). Pada NVIDIA Blackwell (TensorRT-LLM), daya pemprosesan model gpt-oss-120b meningkat sehingga 15 kali, kira-kira 1.5 kali EAGLE-3. Inovasi teras ialah menyuntik ciri tersembunyi berbilang lapisan model sasaran ke dalam unjuran Key-Value setiap lapisan model draf, menjadikan panjang penerimaan bertambah dengan kedalaman draf.

Maklumat penting

  • DFlash yang dicadangkan oleh pasukan UC San Diego ialah model draf resapan blok ringan untuk…
  • Ia menjana satu blok token dalam satu inferens hadapan,kemudian disahkan secara selari oleh model…
  • Berbanding EAGLE-3,DFlash mencapai pecutan sehingga 2.
  • 5 kali,dengan pecutan tanpa kehilangan purata melebihi 6 kali pada pelbagai model seperti Qwen3-8B…
  • Pada NVIDIA Blackwell (TensorRT-LLM),daya pemprosesan model gpt-oss-120b meningkat sehingga 15…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
MarkTechPost(RSS)
Kategori
Kertas penyelidikan
Skor AI
74
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: DFlash: Model Draf Resapan Blok Mencapai Peningkatan Daya Pemprosesan Sehingga 15 Kali. 24 Jun 2026. https://new.nat6.net/ms/news/cmqrrgnay0n08slp5phvdk394/

Lihat Semua →