Tencent Hunyuan AI Infra नया ओपन-सोर्स: HPC-Ops अनुमान कोर ऑपरेटर व्यापक अपग्रेड
AI सारांश
Tencent Hunyuan AI Infra टीम ने HPC-Ops अनुमान ऑपरेटर लाइब्रेरी का ओपन-सोर्स अपग्रेड किया, पाँच प्रमुख कोर ऑपरेटर पेश किए। Attention रनटाइम गतिशील लोड शेड्यूलिंग अपनाता है, लंबे टेक्स्ट में अधिकतम 2.95x गति, एंड-टू-एंड QPM 17% वृद्धि; Router GEMM दोहरे BF16 संयोजन से FP32 सटीकता प्राप्त करता है, CuBLAS FP32 की तुलना में अधिकतम 3.22x गति; FusedMoE vLLM, SGLang की तुलना में 1.2x~1.6x प्रदर्शन वृद्धि; Fused AllReduce+Norm मुख्यधारा समाधानों की तुलना में अधिकतम 1.68x गति; Sampler डिकोडिंग सैंपलिंग को 2 CUDA Kernel में विलीन करता है, vLLM की तुलना में 4.0x~7.5x गति। सभी क्षमताएँ उत्पादन अभ्यास से आई हैं और पूरी तरह ओपन-सोर्स हैं।
मुख्य जानकारी
- Tencent Hunyuan AI Infra टीम ने HPC-Ops अनुमान ऑपरेटर लाइब्रेरी का ओपन-सोर्स अपग्रेड किया,पाँच…
- 95x गति,एंड-टू-एंड QPM 17% वृद्धि
- Router GEMM दोहरे BF16 संयोजन से FP32 सटीकता प्राप्त करता है,CuBLAS FP32 की तुलना में अधिकतम 3.
- FusedMoE vLLM,SGLang की तुलना में 1.
- 6x प्रदर्शन वृद्धि
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- 公众号:腾讯混元
- श्रेणी
- उत्पाद और ऐप्स
- AI स्कोर
- 78
腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Tencent Hunyuan AI Infra नया ओपन-सोर्स: HPC-Ops अनुमान कोर ऑपरेटर व्यापक अपग्रेड। 11 जून 2026। https://new.nat6.net/hi/news/cmq99cd9g09skslldniw7u2ub/