Повышение эффективности вывода MoE-моделей с помощью warp decode
Оригинальный заголовок:Better MoE model inference with warp decode
ИИ-резюме
Для декодирования малых пакетов на GPU Blackwell исследователи предложили новый метод «warp decode». Он переворачивает традиционный путь вычислений с центром на экспертах: каждый GPU-warp отвечает за вычисление одного выходного нейрона. Это фундаментальное изменение устраняет пять шагов «бухгалтерии», связанных исключительно с управлением данными, и сжимает весь слой вычислений MoE до двух ядер. Преимущество — отказ от заполнения, разброса и чтения-записи промежуточных буферов, а независимость warp обеспечивает лучшее планирование. На GPU Blackwell метод даёт рост пропускной способности в 1,84 раза при более высокой точности вывода: расхождение с полным эталоном FP32 сократилось в 1,4 раза, что эффективно ускоряет процесс разработки моделей.
Ключевые моменты
- Для декодирования малых пакетов на GPU Blackwell исследователи предложили новый метод «warp decode».
- Он переворачивает традиционный путь вычислений с центром на экспертах: каждый GPU-warp отвечает за…
- Это фундаментальное изменение устраняет пять шагов «бухгалтерии»,связанных исключительно с…
- Преимущество — отказ от заполнения,разброса и чтения-записи промежуточных буферов,а независимость…
- На GPU Blackwell метод даёт рост пропускной способности в 1,84 раза при более высокой точности…
Кратко
- Опубликовано
- Обновлено
- Источник
- Cursor Blog
- Категория
- Статьи и исследования
- Оценка ИИ
- 66
Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Повышение эффективности вывода MoE-моделей с помощью warp decode. 6 апреля 2026. https://new.nat6.net/ru/news/cmosbbgu40075slojjfiqhvmm/