Продукты и приложения

Tencent Hunyuan AI Infra открыла исходный код: ядро инференс-операторов HPC-Ops полностью обновлено

ИИ-резюме

Команда Tencent Hunyuan AI Infra открыла исходный код обновлённой библиотеки инференс-операторов HPC-Ops и представила пять ключевых операторов. Attention использует динамическое планирование нагрузки во время выполнения: ускорение до 2.95x на длинных текстах, сквозной QPM выше на 17%; Router GEMM достигает точности FP32 за счёт комбинации двух BF16, ускорение до 3.22x по сравнению с CuBLAS FP32; FusedMoE быстрее vLLM и SGLang в 1.2x–1.6x; Fused AllReduce+Norm ускоряет до 1.68x относительно популярных решений; Sampler объединяет декодирование и сэмплирование в 2 CUDA Kernel, ускорение в 4.0x–7.5x относительно vLLM. Все возможности взяты из производственной практики и полностью открыты.

Ключевые моменты

  • Команда Tencent Hunyuan AI Infra открыла исходный код обновлённой библиотеки инференс-операторов…
  • Attention использует динамическое планирование нагрузки во время выполнения: ускорение до 2.
  • 95x на длинных текстах,сквозной QPM выше на 17%
  • Router GEMM достигает точности FP32 за счёт комбинации двух BF16,ускорение до 3.
  • 22x по сравнению с CuBLAS FP32

Кратко

Опубликовано
Обновлено
Источник
公众号:腾讯混元
Категория
Продукты и приложения
Оценка ИИ
78
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Tencent Hunyuan AI Infra открыла исходный код: ядро инференс-операторов HPC-Ops полностью обновлено. 11 июня 2026. https://new.nat6.net/ru/news/cmq99cd9g09skslldniw7u2ub/

Смотреть все →