ผลิตภัณฑ์และแอป

Tencent Hunyuan AI Infra เปิดโอเพนซอร์สใหม่: HPC-Ops อัปเกรดโอเปอเรเตอร์หลักสำหรับการอนุมาน

สรุปโดย AI

ทีม Tencent Hunyuan AI Infra เปิดโอเพนซอร์สและอัปเกรดไลบรารีโอเปอเรเตอร์การอนุมาน HPC-Ops เปิดตัวโอเปอเรเตอร์หลักห้าตัว Attention ใช้การจัดตารางโหลดแบบไดนามิกขณะรัน เร่งความเร็วข้อความยาวได้สูงสุด 2.95x และ QPM แบบ end-to-end เพิ่มขึ้น 17%; Router GEMM ใช้การรวม BF16 สองตัวเพื่อความแม่นยำ FP32 เร็วขึ้นสูงสุด 3.22x เมื่อเทียบกับ CuBLAS FP32; FusedMoE มีประสิทธิภาพดีขึ้น 1.2x–1.6x เมื่อเทียบกับ vLLM และ SGLang; Fused AllReduce+Norm เร็วขึ้นสูงสุด 1.68x เมื่อเทียบกับโซลูชันกระแสหลัก; Sampler รวมการสุ่มถอดรหัสเป็น 2 CUDA Kernel เร็วขึ้น 4.0x–7.5x เมื่อเทียบกับ vLLM ความสามารถทั้งหมดมาจากการใช้งานจริงและเปิดโอเพนซอร์สเต็มรูปแบบ

ข้อมูลสำคัญ

  • ทีม Tencent Hunyuan AI Infra เปิดโอเพนซอร์สและอัปเกรดไลบรารีโอเปอเรเตอร์การอนุมาน HPC-Ops…
  • 95x และ QPM แบบ end-to-end เพิ่มขึ้น 17%
  • Router GEMM ใช้การรวม BF16 สองตัวเพื่อความแม่นยำ FP32 เร็วขึ้นสูงสุด 3.
  • 22x เมื่อเทียบกับ CuBLAS FP32
  • FusedMoE มีประสิทธิภาพดีขึ้น 1.

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
公众号:腾讯混元
หมวดหมู่
ผลิตภัณฑ์และแอป
คะแนน AI
78
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Tencent Hunyuan AI Infra เปิดโอเพนซอร์สใหม่: HPC-Ops อัปเกรดโอเปอเรเตอร์หลักสำหรับการอนุมาน 11 มิถุนายน 2026 https://new.nat6.net/th/news/cmq99cd9g09skslldniw7u2ub/

ดูทั้งหมด →