Tencent Hunyuan AI Infra открыла исходный код: ядро инференс-операторов HPC-Ops полностью обновлено
ИИ-резюме
Команда Tencent Hunyuan AI Infra открыла исходный код обновлённой библиотеки инференс-операторов HPC-Ops и представила пять ключевых операторов. Attention использует динамическое планирование нагрузки во время выполнения: ускорение до 2.95x на длинных текстах, сквозной QPM выше на 17%; Router GEMM достигает точности FP32 за счёт комбинации двух BF16, ускорение до 3.22x по сравнению с CuBLAS FP32; FusedMoE быстрее vLLM и SGLang в 1.2x–1.6x; Fused AllReduce+Norm ускоряет до 1.68x относительно популярных решений; Sampler объединяет декодирование и сэмплирование в 2 CUDA Kernel, ускорение в 4.0x–7.5x относительно vLLM. Все возможности взяты из производственной практики и полностью открыты.
Ключевые моменты
- Команда Tencent Hunyuan AI Infra открыла исходный код обновлённой библиотеки инференс-операторов…
- Attention использует динамическое планирование нагрузки во время выполнения: ускорение до 2.
- 95x на длинных текстах,сквозной QPM выше на 17%
- Router GEMM достигает точности FP32 за счёт комбинации двух BF16,ускорение до 3.
- 22x по сравнению с CuBLAS FP32
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:腾讯混元
- Категория
- Продукты и приложения
- Оценка ИИ
- 78
腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Tencent Hunyuan AI Infra открыла исходный код: ядро инференс-операторов HPC-Ops полностью обновлено. 11 июня 2026. https://new.nat6.net/ru/news/cmq99cd9g09skslldniw7u2ub/