dots infra Xiaohongshu открыла исходный код BigMac: прорыв через границу Парето в обучении мультимодальных больших моделей
Оригинальный заголовок:小红书 dots infra 开源BigMac : 突破多模态大模型训练的帕累托前沿
ИИ-резюме
Xiaohongshu открыла исходный код BigMac — новой парадигмы конвейерно-параллельного обучения для нативных мультимодальных сценариев. За счёт безопасной по зависимостям вложенной конвейеризации она эффективно реализует мультимодальное конвейерное обучение, не увеличивая пузыри конвейера LLM и сохраняя ограниченный объём памяти активаций. По сравнению с базовым решением BigMac ускоряет обучение в 1,08–1,9 раза и сохраняет стабильное потребление памяти при росте global batch size; сейчас она применяется в производственном обучении мультимодальных моделей dots.
Ключевые моменты
- Xiaohongshu открыла исходный код BigMac — новой парадигмы конвейерно-параллельного обучения для…
- За счёт безопасной по зависимостям вложенной конвейеризации она эффективно реализует…
- По сравнению с базовым решением BigMac ускоряет обучение в 1,08–1,9 раза и сохраняет стабильное…
- сейчас она применяется в производственном обучении мультимодальных моделей dots.
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:小红书技术(dots.llm)
- Категория
- Продукты и приложения
- Оценка ИИ
- 70
通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: dots infra Xiaohongshu открыла исходный код BigMac: прорыв через границу Парето в обучении мультимодальных больших моделей. 22 июля 2026. https://new.nat6.net/ru/news/cmsdu108a00ucrofzwlsyffxo/