Продукты и приложения

HPC-Ops × SGLang: Tencent Hunyuan открывает высокопроизводительные операторы Attention, Router GEMM и MoE

Оригинальный заголовок:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team

ИИ-резюме

Открытая библиотека операторов HPC-Ops от Tencent Hunyuan интегрирована в основную ветку SGLang; её Dynamic Attention и Fused MoE на модели Hy3 снижают TPOT до 48,8%.

Кратко

Опубликовано
Обновлено
Источник
LMSYS Blog
Категория
Продукты и приложения
Оценка ИИ
76
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: HPC-Ops × SGLang: Tencent Hunyuan открывает высокопроизводительные операторы Attention, Router GEMM и MoE. 7 августа 2026. https://new.nat6.net/ru/news/cmsj8rfkl02ruroo5uvyqiqiq/

Смотреть все →