Kertas penyelidikan

Zhipu bersama Yuxun Network dan Tsinghua cadang seni bina rangkaian ZCube, atasi kesesakan rangkaian penaakulan model bahasa besar

Tajuk asal:下一代大模型推理网络架构:ZCube如何有效破解网络瓶颈?

Ringkasan AI

Zhipu, Yuxun Network dan Universiti Tsinghua bersama mencadangkan dan melaksanakan seni bina rangkaian ZCube, menggantikan topologi Clos/ROFT tradisional dengan topologi rata untuk menghapuskan kesesakan yang boleh dielakkan dalam penaakulan pemisahan PD dari peringkat struktur. Dalam ujian sebenar kluster seribu kad persekitaran pengeluaran coding GLM-5.1, ZCube meningkatkan purata daya pemprosesan penaakulan GPU lebih 15% berbanding ROFT, mengurangkan TTFT P99 sebanyak 40.6%, sambil mengurangkan kira-kira satu pertiga kos suis dan modul optik.

Maklumat penting

  • Zhipu,Yuxun Network dan Universiti Tsinghua bersama mencadangkan dan melaksanakan seni bina…
  • Dalam ujian sebenar kluster seribu kad persekitaran pengeluaran coding GLM-5.
  • 1,ZCube meningkatkan purata daya pemprosesan penaakulan GPU lebih 15% berbanding ROFT,mengurangkan…
  • 6%,sambil mengurangkan kira-kira satu pertiga kos suis dan modul optik.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
公众号:智谱(GLM)
Kategori
Kertas penyelidikan
Skor AI
76
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

架构创新不只是省钱,ZCube 在 GLM-5.1 集群里用三分之一交换机成本换来 15% 吞吐提升和 40% 尾时延改善,为 PD 分离推理提供了一条可复用的组网路径。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Zhipu bersama Yuxun Network dan Tsinghua cadang seni bina rangkaian ZCube, atasi kesesakan rangkaian penaakulan model bahasa besar. 21 Mei 2026. https://new.nat6.net/ms/news/cmsdu107800u2rofz68f17j53/

Lihat Semua →