उत्पाद और ऐप्स

HPC-Ops × SGLang: Tencent Hunyuan ने हाई-परफ़ॉर्मेंस Attention, Router GEMM और MoE ऑपरेटर ओपन-सोर्स किए

मूल शीर्षक:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team

AI सारांश

Tencent Hunyuan की ओपन-सोर्स ऑपरेटर लाइब्रेरी HPC-Ops को SGLang की मुख्य ब्रांच में एकीकृत कर दिया गया है, इसके Dynamic Attention और Fused MoE ने Hy3 मॉडल पर TPOT को अधिकतम 48.8% तक कम किया।

मुख्य जानकारी

  • Tencent Hunyuan की ओपन-सोर्स ऑपरेटर लाइब्रेरी HPC-Ops को SGLang की मुख्य ब्रांच में एकीकृत कर दिया…
  • इसके Dynamic Attention और Fused MoE ने Hy3 मॉडल पर TPOT को अधिकतम 48.
  • 8% तक कम किया।

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
LMSYS Blog
श्रेणी
उत्पाद और ऐप्स
AI स्कोर
76
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: HPC-Ops × SGLang: Tencent Hunyuan ने हाई-परफ़ॉर्मेंस Attention, Router GEMM और MoE ऑपरेटर ओपन-सोर्स किए। 7 अगस्त 2026। https://new.nat6.net/hi/news/cmsj8rfkl02ruroo5uvyqiqiq/

सभी देखें →