DFlash: блочная диффузионная черновая модель обеспечивает до 15-кратного роста пропускной способности
Оригинальный заголовок:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell
ИИ-резюме
DFlash, предложенный командой UC San Diego, — лёгкая блочная диффузионная черновая модель для спекулятивного декодирования. За один прямой проход она генерирует целый блок токенов, который затем параллельно проверяется целевой моделью, гарантируя отсутствие потерь в выводе. По сравнению с EAGLE-3 DFlash даёт до 2,5-кратного ускорения, а на различных моделях, включая Qwen3-8B, среднее ускорение без потерь превышает 6 раз (на MATH-500 — 6,08×). На NVIDIA Blackwell (TensorRT-LLM) пропускная способность модели gpt-oss-120b возрастает до 15 раз, примерно в 1,5 раза больше, чем у EAGLE-3. Ключевое новшество — внедрение многослойных скрытых признаков целевой модели в Key-Value-проекцию каждого слоя черновой модели, благодаря чему длина принятия растёт с глубиной черновика.
Ключевые моменты
- DFlash,предложенный командой UC San Diego,— лёгкая блочная диффузионная черновая модель для…
- За один прямой проход она генерирует целый блок токенов,который затем параллельно проверяется…
- По сравнению с EAGLE-3 DFlash даёт до 2,5-кратного ускорения,а на различных моделях,включая…
- На NVIDIA Blackwell (TensorRT-LLM) пропускная способность модели gpt-oss-120b возрастает до 15…
- Ключевое новшество — внедрение многослойных скрытых признаков целевой модели в Key-Value-проекцию…
Кратко
- Опубликовано
- Обновлено
- Источник
- MarkTechPost(RSS)
- Категория
- Статьи и исследования
- Оценка ИИ
- 74
DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: DFlash: блочная диффузионная черновая модель обеспечивает до 15-кратного роста пропускной способности. 24 июня 2026. https://new.nat6.net/ru/news/cmqrrgnay0n08slp5phvdk394/