Penyahkodan spekulatif generasi seterusnya: DFlash dan Spec V2
Tajuk asal:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams
Ringkasan AI
Pasukan Z Lab, Modal dan SGLang bersama-sama melancarkan model penyahkodan spekulatif DFlash dan enjin Spec V2 lalai SGLang. DFlash menggunakan resapan blok + suntikan KV untuk menjana token draf blok penuh secara selari, mencapai daya pemprosesan 4.3 kali garis dasar pada set data HumanEval dengan Qwen 3.5 397B-A17B (BF16) dan konkurensi 1
Maklumat penting
- Pasukan Z Lab,Modal dan SGLang bersama-sama melancarkan model penyahkodan spekulatif DFlash dan…
- DFlash menggunakan resapan blok + suntikan KV untuk menjana token draf blok penuh secara…
- 3 kali garis dasar pada set data HumanEval dengan Qwen 3.
- 5 397B-A17B (BF16) dan konkurensi 1
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- LMSYS Blog
- Kategori
- Pelancaran Model
- Skor AI
- 67
DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Penyahkodan spekulatif generasi seterusnya: DFlash dan Spec V2. 15 Jun 2026. https://new.nat6.net/ms/news/cmqfhhoq001hksl2aw53w2wz8/