小红书 dots infra 开源 BigMac:突破多模态大模型训练的帕累托前沿
原文标题:小红书 dots infra 开源BigMac : 突破多模态大模型训练的帕累托前沿
AI 摘要
小红书开源 BigMac,一种面向原生多模态场景的流水并行训练新范式。它通过依赖安全的嵌套流水线,在不增加 LLM 流水线空泡、保持激活显存有界的同时,高效实现多模态流水训练。相比基线,BigMac 训练速度提升 1.08~1.9 倍,并在 global batch size 增大时保持稳定显存占用,目前已应用于 dots 多模态模型生产训练。
关键信息
- 小红书开源 BigMac,一种面向原生多模态场景的流水并行训练新范式。
- 它通过依赖安全的嵌套流水线,在不增加 LLM 流水线空泡、保持激活显存有界的同时,高效实现多模态流水训练。
- 相比基线,BigMac 训练速度提升 1.
- 9 倍,并在 global batch size 增大时保持稳定显存占用,目前已应用于 dots 多模态模型生产训练
- 通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑
速览
- 发布时间
- 更新时间
- 分类
- 产品与应用
- AI 评分
- 70
推荐理由
通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:小红书 dots infra 开源 BigMac:突破多模态大模型训练的帕累托前沿。2026年7月22日。https://new.nat6.net/news/cmsdu108a00ucrofzwlsyffxo/