Rilis Model

Decoding spekulatif generasi berikutnya: DFlash dan Spec V2

Judul asli:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams

Ringkasan AI

Tim Z Lab, Modal, dan SGLang bersama-sama merilis model decoding spekulatif DFlash dan mesin Spec V2 default SGLang. DFlash menggunakan difusi blok + injeksi KV untuk menghasilkan seluruh blok draft token secara paralel; pada Qwen 3.5 397B-A17B (BF16) dengan dataset HumanEval dan konkurensi 1, throughput mencapai 4,3

Poin utama

  • Tim Z Lab,Modal,dan SGLang bersama-sama merilis model decoding spekulatif DFlash dan mesin Spec V2…
  • DFlash menggunakan difusi blok + injeksi KV untuk menghasilkan seluruh blok draft token secara…
  • pada Qwen 3.
  • 5 397B-A17B (BF16) dengan dataset HumanEval dan konkurensi 1,throughput mencapai 4,3

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
LMSYS Blog
Kategori
Rilis Model
Skor AI
67
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Decoding spekulatif generasi berikutnya: DFlash dan Spec V2. 15 Juni 2026. https://new.nat6.net/id/news/cmqfhhoq001hksl2aw53w2wz8/

Lihat semua →