บทความและงานวิจัย

Zhipu ร่วมกับ Yuxun Network และ Tsinghua เสนอสถาปัตยกรรมเครือข่าย ZCube แก้คอขวดเครือข่ายการอนุมานโมเดลภาษาขนาดใหญ่

หัวข้อต้นฉบับ:下一代大模型推理网络架构:ZCube如何有效破解网络瓶颈?

สรุปโดย AI

Zhipu, Yuxun Network และมหาวิทยาลัย Tsinghua ร่วมกันเสนอและนำสถาปัตยกรรมเครือข่าย ZCube ไปใช้งานจริง โดยใช้โทโพโลยีแบบแบนแทนสถาปัตยกรรม Clos/ROFT แบบดั้งเดิม เพื่อขจัดความแออัดที่หลีกเลี่ยงได้ในการอนุมานแบบแยก PD ในระดับโครงสร้าง จากการทดสอบจริงบนคลัสเตอร์พันการ์ดในสภาพแวดล้อมโปรดักชัน GLM-5.1 coding ZCube เพิ่มปริมาณการอนุมานเฉลี่ยต่อ GPU มากกว่า 15% เมื่อเทียบกับ ROFT ลด TTFT P99 ลง 40.6% และลดต้นทุนสวิตช์และออปติคัลโมดูลประมาณหนึ่งในสาม

ข้อมูลสำคัญ

  • Zhipu,Yuxun Network และมหาวิทยาลัย Tsinghua ร่วมกันเสนอและนำสถาปัตยกรรมเครือข่าย ZCube…
  • 1 coding ZCube เพิ่มปริมาณการอนุมานเฉลี่ยต่อ GPU มากกว่า 15% เมื่อเทียบกับ ROFT ลด TTFT P99 ลง 40.
  • 6% และลดต้นทุนสวิตช์และออปติคัลโมดูลประมาณหนึ่งในสาม

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
公众号:智谱(GLM)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
76
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

架构创新不只是省钱,ZCube 在 GLM-5.1 集群里用三分之一交换机成本换来 15% 吞吐提升和 40% 尾时延改善,为 PD 分离推理提供了一条可复用的组网路径。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Zhipu ร่วมกับ Yuxun Network และ Tsinghua เสนอสถาปัตยกรรมเครือข่าย ZCube แก้คอขวดเครือข่ายการอนุมานโมเดลภาษาขนาดใหญ่ 21 พฤษภาคม 2026 https://new.nat6.net/th/news/cmsdu107800u2rofz68f17j53/

ดูทั้งหมด →