Produits et applications

L'équipe dots infra de Xiaohongshu open source BigMac : repousser la frontière de Pareto de l'entraînement des grands modèles multimodaux

Titre original:小红书 dots infra 开源BigMac : 突破多模态大模型训练的帕累托前沿

Résumé IA

Xiaohongshu open source BigMac, un nouveau paradigme d'entraînement en parallélisme de pipeline pour les scénarios multimodaux natifs. Grâce à des pipelines imbriqués sûrs du point de vue des dépendances, il réalise efficacement l'entraînement multimodal sans augmenter les bulles du pipeline LLM et en gardant la mémoire d'activation bornée. Comparé à la référence, BigMac accélère l'entraînement de 1,08 à 1,9 fois et maintient une empreinte mémoire stable lorsque le global batch size augmente ; il est déjà utilisé pour l'entraînement en production des modèles multimodaux dots.

Points clés

  • Xiaohongshu open source BigMac,un nouveau paradigme d'entraînement en parallélisme de pipeline…
  • Grâce à des pipelines imbriqués sûrs du point de vue des dépendances,il réalise efficacement…
  • Comparé à la référence,BigMac accélère l'entraînement de 1,08 à 1,9 fois et maintient une…
  • il est déjà utilisé pour l'entraînement en production des modèles multimodaux dots.

En bref

Publié
Mis à jour
Source
公众号:小红书技术(dots.llm)
Catégorie
Produits et applications
Score IA
70
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : L'équipe dots infra de Xiaohongshu open source BigMac : repousser la frontière de Pareto de l'entraînement des grands modèles multimodaux. 22. juillet 2026. https://new.nat6.net/fr/news/cmsdu108a00ucrofzwlsyffxo/

Tout voir →