ZCube network architecture ng Zhipu, Yuxun Network at Tsinghua, tugon sa bottleneck ng inference network ng malaking modelo
Orihinal na pamagat:下一代大模型推理网络架构:ZCube如何有效破解网络瓶颈?
AI summary
Magkatuwang na iminungkahi at ipinatupad ng Zhipu, Yuxun Network at Tsinghua University ang ZCube network architecture, na pumapalit sa tradisyonal na Clos/ROFT architecture gamit ang flat topology, para alisin sa antas ng istruktura ang maiiwasang congestion sa PD-disaggregated inference. Sa aktwal na pagsubok sa thousand-card cluster ng GLM-5.1 coding production environment, itinaas ng ZCube ang average GPU inference throughput ng mahigit 15% kumpara sa ROFT, binaba ang TTFT P99 ng 40.6%, at binawasan ang halos isang-katlo ng gastos sa switch at optical module.
Mahahalagang impormasyon
- Magkatuwang na iminungkahi at ipinatupad ng Zhipu,Yuxun Network at Tsinghua University ang ZCube…
- Sa aktwal na pagsubok sa thousand-card cluster ng GLM-5.
- 1 coding production environment,itinaas ng ZCube ang average GPU inference throughput ng mahigit…
- 6%,at binawasan ang halos isang-katlo ng gastos sa switch at optical module.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 公众号:智谱(GLM)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 76
架构创新不只是省钱,ZCube 在 GLM-5.1 集群里用三分之一交换机成本换来 15% 吞吐提升和 40% 尾时延改善,为 PD 分离推理提供了一条可复用的组网路径。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: ZCube network architecture ng Zhipu, Yuxun Network at Tsinghua, tugon sa bottleneck ng inference network ng malaking modelo. 21 Mayo 2026. https://new.nat6.net/fil/news/cmsdu107800u2rofz68f17j53/