製品とアプリ

HPC-Ops × SGLang:Tencent Hunyuan、高性能Attention、Router GEMM、MoE演算子をオープンソース化

原題:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team

AI 要約

Tencent Hunyuanのオープンソース演算子ライブラリHPC-OpsがSGLangのメインブランチに統合された。そのDynamic AttentionとFused MoEはHy3モデル上でTPOTを最大48.8%削減する。

概要

公開日時
更新日時
出典
LMSYS Blog
カテゴリ
製品とアプリ
AI スコア
76
原文を読む 情報源で全文を読む
おすすめの理由

HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:HPC-Ops × SGLang:Tencent Hunyuan、高性能Attention、Router GEMM、MoE演算子をオープンソース化。2026年8月7日。https://new.nat6.net/ja/news/cmsj8rfkl02ruroo5uvyqiqiq/

すべて見る →