DFlash: Model Draf Resapan Blok Mencapai Peningkatan Daya Pemprosesan Sehingga 15 Kali
Tajuk asal:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell
Ringkasan AI
DFlash yang dicadangkan oleh pasukan UC San Diego ialah model draf resapan blok ringan untuk penyahkodan spekulatif. Ia menjana satu blok token dalam satu inferens hadapan, kemudian disahkan secara selari oleh model sasaran, menjamin output tanpa kehilangan. Berbanding EAGLE-3, DFlash mencapai pecutan sehingga 2.5 kali, dengan pecutan tanpa kehilangan purata melebihi 6 kali pada pelbagai model seperti Qwen3-8B (MATH-500 mencapai 6.08×). Pada NVIDIA Blackwell (TensorRT-LLM), daya pemprosesan model gpt-oss-120b meningkat sehingga 15 kali, kira-kira 1.5 kali EAGLE-3. Inovasi teras ialah menyuntik ciri tersembunyi berbilang lapisan model sasaran ke dalam unjuran Key-Value setiap lapisan model draf, menjadikan panjang penerimaan bertambah dengan kedalaman draf.
Maklumat penting
- DFlash yang dicadangkan oleh pasukan UC San Diego ialah model draf resapan blok ringan untuk…
- Ia menjana satu blok token dalam satu inferens hadapan,kemudian disahkan secara selari oleh model…
- Berbanding EAGLE-3,DFlash mencapai pecutan sehingga 2.
- 5 kali,dengan pecutan tanpa kehilangan purata melebihi 6 kali pada pelbagai model seperti Qwen3-8B…
- Pada NVIDIA Blackwell (TensorRT-LLM),daya pemprosesan model gpt-oss-120b meningkat sehingga 15…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- MarkTechPost(RSS)
- Kategori
- Kertas penyelidikan
- Skor AI
- 74
DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: DFlash: Model Draf Resapan Blok Mencapai Peningkatan Daya Pemprosesan Sehingga 15 Kali. 24 Jun 2026. https://new.nat6.net/ms/news/cmqrrgnay0n08slp5phvdk394/