Продукты и приложения

dots infra Xiaohongshu открыла исходный код BigMac: прорыв через границу Парето в обучении мультимодальных больших моделей

Оригинальный заголовок:小红书 dots infra 开源BigMac : 突破多模态大模型训练的帕累托前沿

ИИ-резюме

Xiaohongshu открыла исходный код BigMac — новой парадигмы конвейерно-параллельного обучения для нативных мультимодальных сценариев. За счёт безопасной по зависимостям вложенной конвейеризации она эффективно реализует мультимодальное конвейерное обучение, не увеличивая пузыри конвейера LLM и сохраняя ограниченный объём памяти активаций. По сравнению с базовым решением BigMac ускоряет обучение в 1,08–1,9 раза и сохраняет стабильное потребление памяти при росте global batch size; сейчас она применяется в производственном обучении мультимодальных моделей dots.

Ключевые моменты

  • Xiaohongshu открыла исходный код BigMac — новой парадигмы конвейерно-параллельного обучения для…
  • За счёт безопасной по зависимостям вложенной конвейеризации она эффективно реализует…
  • По сравнению с базовым решением BigMac ускоряет обучение в 1,08–1,9 раза и сохраняет стабильное…
  • сейчас она применяется в производственном обучении мультимодальных моделей dots.

Кратко

Опубликовано
Обновлено
Источник
公众号:小红书技术(dots.llm)
Категория
Продукты и приложения
Оценка ИИ
70
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: dots infra Xiaohongshu открыла исходный код BigMac: прорыв через границу Парето в обучении мультимодальных больших моделей. 22 июля 2026. https://new.nat6.net/ru/news/cmsdu108a00ucrofzwlsyffxo/

Смотреть все →