小紅書dots infraがBigMacをオープンソース化:マルチモーダル大規模言語モデルトレーニングのパレートフロンティアを突破
原題:小红书 dots infra 开源BigMac : 突破多模态大模型训练的帕累托前沿
AI 要約
小紅書はネイティブマルチモーダル向けの新たなパイプライン並列トレーニングパラダイムBigMacをオープンソース化した。依存関係安全なネスト型パイプラインにより、LLMパイプラインの空泡を増やさず、アクティベーションのメモリを有界に保ちながら、マルチモーダルのパイプライントレーニングを効率的に実現する。ベースラインと比べてトレーニング速度は1.08〜1.9倍向上し、global batch sizeを増やしてもメモリ使用量は安定している。現在、dotsのマルチモーダルモデルの本番トレーニングに適用されている。
要点
- 小紅書はネイティブマルチモーダル向けの新たなパイプライン並列トレーニングパラダイムBigMacをオープンソース化した。
- 依存関係安全なネスト型パイプラインにより、LLMパイプラインの空泡を増やさず、アクティベーションのメモリを有界に保ちながら、マルチモーダルのパイプライントレーニングを効率的に実現する。
- ベースラインと比べてトレーニング速度は1.
- 9倍向上し、global batch sizeを増やしてもメモリ使用量は安定している。
- 現在、dotsのマルチモーダルモデルの本番トレーニングに適用されている
概要
- 公開日時
- 更新日時
- カテゴリ
- 製品とアプリ
- AI スコア
- 70
おすすめの理由
通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:小紅書dots infraがBigMacをオープンソース化:マルチモーダル大規模言語モデルトレーニングのパレートフロンティアを突破。2026年7月22日。https://new.nat6.net/ja/news/cmsdu108a00ucrofzwlsyffxo/