제품 및 앱

샤오홍슈 dots infra, BigMac 오픈소스 공개…멀티모달 대규모 언어 모델 훈련의 파레토 프런티어 돌파

원제목:小红书 dots infra 开源BigMac : 突破多模态大模型训练的帕累托前沿

AI 요약

샤오홍슈가 네이티브 멀티모달 시나리오를 위한 새로운 파이프라인 병렬 훈련 패러다임 BigMac을 오픈소스로 공개했다. 의존성 안전한 중첩 파이프라인을 통해 LLM 파이프라인 버블을 늘리지 않고 활성화 메모리를 제한적으로 유지하면서 멀티모달 파이프라인 훈련을 효율적으로 구현한다. 베이스라인 대비 훈련 속도가 1.08~1.9배 향상됐고 global batch size 증가 시에도 안정적인 메모리 사용량을 유지하며, 현재 dots 멀티모달 모델 프로덕션 훈련에 적용되고 있다.

핵심 정보

  • 샤오홍슈가 네이티브 멀티모달 시나리오를 위한 새로운 파이프라인 병렬 훈련 패러다임 BigMac을 오픈소스로 공개했다.
  • 의존성 안전한 중첩 파이프라인을 통해 LLM 파이프라인 버블을 늘리지 않고 활성화 메모리를 제한적으로 유지하면서 멀티모달 파이프라인 훈련을 효율적으로 구현한다.
  • 베이스라인 대비 훈련 속도가 1.
  • 9배 향상됐고 global batch size 증가 시에도 안정적인 메모리 사용량을 유지하며,현재 dots 멀티모달 모델 프로덕션 훈련에 적용되고 있다.

한눈에 보기

게시
업데이트
출처
公众号:小红书技术(dots.llm)
카테고리
제품 및 앱
AI 점수
70
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 샤오홍슈 dots infra, BigMac 오픈소스 공개…멀티모달 대규모 언어 모델 훈련의 파레토 프런티어 돌파. 2026년 7월 22일. https://new.nat6.net/ko/news/cmsdu108a00ucrofzwlsyffxo/

전체 보기 →