製品とアプリ

小紅書dots infraがBigMacをオープンソース化:マルチモーダル大規模言語モデルトレーニングのパレートフロンティアを突破

原題:小红书 dots infra 开源BigMac : 突破多模态大模型训练的帕累托前沿

AI 要約

小紅書はネイティブマルチモーダル向けの新たなパイプライン並列トレーニングパラダイムBigMacをオープンソース化した。依存関係安全なネスト型パイプラインにより、LLMパイプラインの空泡を増やさず、アクティベーションのメモリを有界に保ちながら、マルチモーダルのパイプライントレーニングを効率的に実現する。ベースラインと比べてトレーニング速度は1.08〜1.9倍向上し、global batch sizeを増やしてもメモリ使用量は安定している。現在、dotsのマルチモーダルモデルの本番トレーニングに適用されている。

要点

  • 小紅書はネイティブマルチモーダル向けの新たなパイプライン並列トレーニングパラダイムBigMacをオープンソース化した。
  • 依存関係安全なネスト型パイプラインにより、LLMパイプラインの空泡を増やさず、アクティベーションのメモリを有界に保ちながら、マルチモーダルのパイプライントレーニングを効率的に実現する。
  • ベースラインと比べてトレーニング速度は1.
  • 9倍向上し、global batch sizeを増やしてもメモリ使用量は安定している。
  • 現在、dotsのマルチモーダルモデルの本番トレーニングに適用されている

概要

公開日時
更新日時
出典
公众号:小红书技术(dots.llm)
カテゴリ
製品とアプリ
AI スコア
70
原文を読む 情報源で全文を読む
おすすめの理由

通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:小紅書dots infraがBigMacをオープンソース化:マルチモーダル大規模言語モデルトレーニングのパレートフロンティアを突破。2026年7月22日。https://new.nat6.net/ja/news/cmsdu108a00ucrofzwlsyffxo/

すべて見る →