HPC-Ops × SGLang: Tencent Hunyuan เปิดโอเพนซอร์ส Attention, Router GEMM และโอเปอเรเตอร์ MoE ประสิทธิภาพสูง
หัวข้อต้นฉบับ:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team
สรุปโดย AI
ไลบรารีโอเปอเรเตอร์โอเพนซอร์ส HPC-Ops ของ Tencent Hunyuan ได้รวมเข้ากับสาขาหลักของ SGLang แล้ว โดย Dynamic Attention และ Fused MoE สามารถลด TPOT ได้สูงสุด 48.8% บนโมเดล Hy3
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- LMSYS Blog
- หมวดหมู่
- ผลิตภัณฑ์และแอป
- คะแนน AI
- 76
HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: HPC-Ops × SGLang: Tencent Hunyuan เปิดโอเพนซอร์ส Attention, Router GEMM และโอเปอเรเตอร์ MoE ประสิทธิภาพสูง 7 สิงหาคม 2026 https://new.nat6.net/th/news/cmsj8rfkl02ruroo5uvyqiqiq/