Статьи и исследования

Повышение эффективности вывода MoE-моделей с помощью warp decode

Оригинальный заголовок:Better MoE model inference with warp decode

ИИ-резюме

Для декодирования малых пакетов на GPU Blackwell исследователи предложили новый метод «warp decode». Он переворачивает традиционный путь вычислений с центром на экспертах: каждый GPU-warp отвечает за вычисление одного выходного нейрона. Это фундаментальное изменение устраняет пять шагов «бухгалтерии», связанных исключительно с управлением данными, и сжимает весь слой вычислений MoE до двух ядер. Преимущество — отказ от заполнения, разброса и чтения-записи промежуточных буферов, а независимость warp обеспечивает лучшее планирование. На GPU Blackwell метод даёт рост пропускной способности в 1,84 раза при более высокой точности вывода: расхождение с полным эталоном FP32 сократилось в 1,4 раза, что эффективно ускоряет процесс разработки моделей.

Ключевые моменты

  • Для декодирования малых пакетов на GPU Blackwell исследователи предложили новый метод «warp decode».
  • Он переворачивает традиционный путь вычислений с центром на экспертах: каждый GPU-warp отвечает за…
  • Это фундаментальное изменение устраняет пять шагов «бухгалтерии»,связанных исключительно с…
  • Преимущество — отказ от заполнения,разброса и чтения-записи промежуточных буферов,а независимость…
  • На GPU Blackwell метод даёт рост пропускной способности в 1,84 раза при более высокой точности…

Кратко

Опубликовано
Обновлено
Источник
Cursor Blog
Категория
Статьи и исследования
Оценка ИИ
66
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Повышение эффективности вывода MoE-моделей с помощью warp decode. 6 апреля 2026. https://new.nat6.net/ru/news/cmosbbgu40075slojjfiqhvmm/

Смотреть все →