dots infra de Xiaohongshu abre BigMac: supera la frontera de Pareto en el entrenamiento de grandes modelos multimodales
Título original:小红书 dots infra 开源BigMac : 突破多模态大模型训练的帕累托前沿
Resumen de IA
Xiaohongshu abre BigMac, un nuevo paradigma de entrenamiento con paralelismo de pipeline orientado a escenarios multimodales nativos. Mediante pipelines anidados seguros en cuanto a dependencias, logra un entrenamiento multimodal eficiente sin aumentar las burbujas del pipeline del LLM y manteniendo acotada la memoria de activaciones. Frente a la línea base, BigMac acelera el entrenamiento entre 1,08 y 1,9 veces y mantiene un uso de memoria estable al aumentar el global batch size; actualmente se aplica al entrenamiento en producción de los modelos multimodales dots.
Puntos clave
- Xiaohongshu abre BigMac,un nuevo paradigma de entrenamiento con paralelismo de pipeline orientado…
- Mediante pipelines anidados seguros en cuanto a dependencias,logra un entrenamiento multimodal…
- Frente a la línea base,BigMac acelera el entrenamiento entre 1,08 y 1,9 veces y mantiene un uso de…
- actualmente se aplica al entrenamiento en producción de los modelos multimodales dots.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- 公众号:小红书技术(dots.llm)
- Categoría
- Productos y aplicaciones
- Puntuación IA
- 70
通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: dots infra de Xiaohongshu abre BigMac: supera la frontera de Pareto en el entrenamiento de grandes modelos multimodales. 22. julio 2026. https://new.nat6.net/es/news/cmsdu108a00ucrofzwlsyffxo/