L'équipe dots infra de Xiaohongshu open source BigMac : repousser la frontière de Pareto de l'entraînement des grands modèles multimodaux
Titre original:小红书 dots infra 开源BigMac : 突破多模态大模型训练的帕累托前沿
Résumé IA
Xiaohongshu open source BigMac, un nouveau paradigme d'entraînement en parallélisme de pipeline pour les scénarios multimodaux natifs. Grâce à des pipelines imbriqués sûrs du point de vue des dépendances, il réalise efficacement l'entraînement multimodal sans augmenter les bulles du pipeline LLM et en gardant la mémoire d'activation bornée. Comparé à la référence, BigMac accélère l'entraînement de 1,08 à 1,9 fois et maintient une empreinte mémoire stable lorsque le global batch size augmente ; il est déjà utilisé pour l'entraînement en production des modèles multimodaux dots.
Points clés
- Xiaohongshu open source BigMac,un nouveau paradigme d'entraînement en parallélisme de pipeline…
- Grâce à des pipelines imbriqués sûrs du point de vue des dépendances,il réalise efficacement…
- Comparé à la référence,BigMac accélère l'entraînement de 1,08 à 1,9 fois et maintient une…
- il est déjà utilisé pour l'entraînement en production des modèles multimodaux dots.
En bref
- Publié
- Mis à jour
- Source
- 公众号:小红书技术(dots.llm)
- Catégorie
- Produits et applications
- Score IA
- 70
通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : L'équipe dots infra de Xiaohongshu open source BigMac : repousser la frontière de Pareto de l'entraînement des grands modèles multimodaux. 22. juillet 2026. https://new.nat6.net/fr/news/cmsdu108a00ucrofzwlsyffxo/