产品与应用

小红书 dots infra 开源 BigMac:突破多模态大模型训练的帕累托前沿

原文标题:小红书 dots infra 开源BigMac : 突破多模态大模型训练的帕累托前沿

AI 摘要

小红书开源 BigMac,一种面向原生多模态场景的流水并行训练新范式。它通过依赖安全的嵌套流水线,在不增加 LLM 流水线空泡、保持激活显存有界的同时,高效实现多模态流水训练。相比基线,BigMac 训练速度提升 1.08~1.9 倍,并在 global batch size 增大时保持稳定显存占用,目前已应用于 dots 多模态模型生产训练。

关键信息

  • 小红书开源 BigMac,一种面向原生多模态场景的流水并行训练新范式。
  • 它通过依赖安全的嵌套流水线,在不增加 LLM 流水线空泡、保持激活显存有界的同时,高效实现多模态流水训练。
  • 相比基线,BigMac 训练速度提升 1.
  • 9 倍,并在 global batch size 增大时保持稳定显存占用,目前已应用于 dots 多模态模型生产训练
  • 通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑

速览

发布时间
更新时间
来源
公众号:小红书技术(dots.llm)
分类
产品与应用
AI 评分
70
阅读原文 前往信息源阅读完整正文
推荐理由

通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:小红书 dots infra 开源 BigMac:突破多模态大模型训练的帕累托前沿。2026年7月22日。https://new.nat6.net/news/cmsdu108a00ucrofzwlsyffxo/

查看全部 →
  • 腾讯设计Agent平台Miora全面开放

    腾讯设计Agent平台Miora今日全面开放,无需邀请码即可使用。该平台由WorkBuddy团队打造,提供品牌设计、影视创意等五大场景模式,支持自定义多模态模型和Agent推理深度,并内置Skill市场与记忆系统。

    公众号:数字生命卡兹克产品与应用AI 评分 77

  • Cursor 发布智能模型路由系统 Cursor Router

    Cursor 推出 Cursor Router,可自动将每个编码请求分配给最合适的模型。在线 A/B 测试显示,Auto Intelligence 模式在用户满意度接近 Fable 的同时,成本降低约 60%;Auto Balance 模…

    Cursor Blog产品与应用AI 评分 70

  • OpenRouter 上线 Gemini 3.6 Flash 与 3.5 Flash-Lite

    今日在 OpenRouter 上线:Gemini 3.6 Flash 和 Gemini 3.5 Flash-Lite! 两者均为其模型系列的重大更新,具备高吞吐量(150+ tok/s),适用于智能体场景,从高效 token 的编码与知识…

    X:OpenRouter (@OpenRouter)产品与应用AI 评分 72