Статьи и исследования

DFlash: блочная диффузионная черновая модель обеспечивает до 15-кратного роста пропускной способности

Оригинальный заголовок:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell

ИИ-резюме

DFlash, предложенный командой UC San Diego, — лёгкая блочная диффузионная черновая модель для спекулятивного декодирования. За один прямой проход она генерирует целый блок токенов, который затем параллельно проверяется целевой моделью, гарантируя отсутствие потерь в выводе. По сравнению с EAGLE-3 DFlash даёт до 2,5-кратного ускорения, а на различных моделях, включая Qwen3-8B, среднее ускорение без потерь превышает 6 раз (на MATH-500 — 6,08×). На NVIDIA Blackwell (TensorRT-LLM) пропускная способность модели gpt-oss-120b возрастает до 15 раз, примерно в 1,5 раза больше, чем у EAGLE-3. Ключевое новшество — внедрение многослойных скрытых признаков целевой модели в Key-Value-проекцию каждого слоя черновой модели, благодаря чему длина принятия растёт с глубиной черновика.

Ключевые моменты

  • DFlash,предложенный командой UC San Diego,— лёгкая блочная диффузионная черновая модель для…
  • За один прямой проход она генерирует целый блок токенов,который затем параллельно проверяется…
  • По сравнению с EAGLE-3 DFlash даёт до 2,5-кратного ускорения,а на различных моделях,включая…
  • На NVIDIA Blackwell (TensorRT-LLM) пропускная способность модели gpt-oss-120b возрастает до 15…
  • Ключевое новшество — внедрение многослойных скрытых признаков целевой модели в Key-Value-проекцию…

Кратко

Опубликовано
Обновлено
Источник
MarkTechPost(RSS)
Категория
Статьи и исследования
Оценка ИИ
74
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: DFlash: блочная диффузионная черновая модель обеспечивает до 15-кратного роста пропускной способности. 24 июня 2026. https://new.nat6.net/ru/news/cmqrrgnay0n08slp5phvdk394/

Смотреть все →