Mga produkto at aplikasyon

Open source ng dots infra ng Xiaohongshu ang BigMac: pagtawid sa Pareto frontier ng multimodal large model training

Orihinal na pamagat:小红书 dots infra 开源BigMac : 突破多模态大模型训练的帕累托前沿

AI summary

Open source ng Xiaohongshu ang BigMac, isang bagong pipeline parallel training paradigm para sa native multimodal scenario. Sa pamamagitan ng dependency-safe nested pipeline, mahusay nitong nakakamit ang multimodal pipeline training nang hindi nadaragdagan ang LLM pipeline bubble at nananatiling bounded ang activation memory. Kumpara sa baseline, 1.08~1.9 beses ang pagtaas ng training speed ng BigMac, at stable ang memory usage kapag lumalaki ang global batch size. Ginagamit na ito sa production training ng multimodal model ng dots.

Mahahalagang impormasyon

  • Open source ng Xiaohongshu ang BigMac,isang bagong pipeline parallel training paradigm para sa…
  • Sa pamamagitan ng dependency-safe nested pipeline,mahusay nitong nakakamit ang multimodal pipeline…
  • Kumpara sa baseline,1.
  • 9 beses ang pagtaas ng training speed ng BigMac,at stable ang memory usage kapag lumalaki ang…
  • Ginagamit na ito sa production training ng multimodal model ng dots.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:小红书技术(dots.llm)
Kategorya
Mga produkto at aplikasyon
AI na marka
70
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Open source ng dots infra ng Xiaohongshu ang BigMac: pagtawid sa Pareto frontier ng multimodal large model training. 22 Hulyo 2026. https://new.nat6.net/fil/news/cmsdu108a00ucrofzwlsyffxo/

Tingnan lahat →