Tencent Hunyuan AI Infra เปิดโอเพนซอร์สใหม่: HPC-Ops อัปเกรดโอเปอเรเตอร์หลักสำหรับการอนุมาน
สรุปโดย AI
ทีม Tencent Hunyuan AI Infra เปิดโอเพนซอร์สและอัปเกรดไลบรารีโอเปอเรเตอร์การอนุมาน HPC-Ops เปิดตัวโอเปอเรเตอร์หลักห้าตัว Attention ใช้การจัดตารางโหลดแบบไดนามิกขณะรัน เร่งความเร็วข้อความยาวได้สูงสุด 2.95x และ QPM แบบ end-to-end เพิ่มขึ้น 17%; Router GEMM ใช้การรวม BF16 สองตัวเพื่อความแม่นยำ FP32 เร็วขึ้นสูงสุด 3.22x เมื่อเทียบกับ CuBLAS FP32; FusedMoE มีประสิทธิภาพดีขึ้น 1.2x–1.6x เมื่อเทียบกับ vLLM และ SGLang; Fused AllReduce+Norm เร็วขึ้นสูงสุด 1.68x เมื่อเทียบกับโซลูชันกระแสหลัก; Sampler รวมการสุ่มถอดรหัสเป็น 2 CUDA Kernel เร็วขึ้น 4.0x–7.5x เมื่อเทียบกับ vLLM ความสามารถทั้งหมดมาจากการใช้งานจริงและเปิดโอเพนซอร์สเต็มรูปแบบ
ข้อมูลสำคัญ
- ทีม Tencent Hunyuan AI Infra เปิดโอเพนซอร์สและอัปเกรดไลบรารีโอเปอเรเตอร์การอนุมาน HPC-Ops…
- 95x และ QPM แบบ end-to-end เพิ่มขึ้น 17%
- Router GEMM ใช้การรวม BF16 สองตัวเพื่อความแม่นยำ FP32 เร็วขึ้นสูงสุด 3.
- 22x เมื่อเทียบกับ CuBLAS FP32
- FusedMoE มีประสิทธิภาพดีขึ้น 1.
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- 公众号:腾讯混元
- หมวดหมู่
- ผลิตภัณฑ์และแอป
- คะแนน AI
- 78
腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Tencent Hunyuan AI Infra เปิดโอเพนซอร์สใหม่: HPC-Ops อัปเกรดโอเปอเรเตอร์หลักสำหรับการอนุมาน 11 มิถุนายน 2026 https://new.nat6.net/th/news/cmq99cd9g09skslldniw7u2ub/