Mga Papel at Pananaliksik

ZCube network architecture ng Zhipu, Yuxun Network at Tsinghua, tugon sa bottleneck ng inference network ng malaking modelo

Orihinal na pamagat:下一代大模型推理网络架构:ZCube如何有效破解网络瓶颈?

AI summary

Magkatuwang na iminungkahi at ipinatupad ng Zhipu, Yuxun Network at Tsinghua University ang ZCube network architecture, na pumapalit sa tradisyonal na Clos/ROFT architecture gamit ang flat topology, para alisin sa antas ng istruktura ang maiiwasang congestion sa PD-disaggregated inference. Sa aktwal na pagsubok sa thousand-card cluster ng GLM-5.1 coding production environment, itinaas ng ZCube ang average GPU inference throughput ng mahigit 15% kumpara sa ROFT, binaba ang TTFT P99 ng 40.6%, at binawasan ang halos isang-katlo ng gastos sa switch at optical module.

Mahahalagang impormasyon

  • Magkatuwang na iminungkahi at ipinatupad ng Zhipu,Yuxun Network at Tsinghua University ang ZCube…
  • Sa aktwal na pagsubok sa thousand-card cluster ng GLM-5.
  • 1 coding production environment,itinaas ng ZCube ang average GPU inference throughput ng mahigit…
  • 6%,at binawasan ang halos isang-katlo ng gastos sa switch at optical module.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:智谱(GLM)
Kategorya
Mga Papel at Pananaliksik
AI na marka
76
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

架构创新不只是省钱,ZCube 在 GLM-5.1 集群里用三分之一交换机成本换来 15% 吞吐提升和 40% 尾时延改善,为 PD 分离推理提供了一条可复用的组网路径。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: ZCube network architecture ng Zhipu, Yuxun Network at Tsinghua, tugon sa bottleneck ng inference network ng malaking modelo. 21 Mayo 2026. https://new.nat6.net/fil/news/cmsdu107800u2rofz68f17j53/

Tingnan lahat →