제품 및 앱

샤오홍슈·베이징대, UltraEP 오픈소스 공개…대규모 MoE 훈련·추론을 위한 '최적' 부하 분산 방안

AI 요약

샤오홍슈와 베이징대가 UltraEP를 오픈소스로 공개하며, 정확한 라우팅 정보 기반 실시간 부하 분산을 처음으로 프로덕션 시스템에 도입했다. 매 microbatch와 각 레이어에서 핫스팟 전문가를 동적으로 복제해 평균적으로 이상 성능의 94.3%를 달성했으며, 업계 SOTA 훈련·추론 프레임워크 대비 1.49배 향상됐다. 이 방안은 288B 파라미터 MoE 모델의 전체 사전 훈련에 배포되어 이상 성능의 92% 이상을 유지하고 있다.

핵심 정보

  • 샤오홍슈와 베이징대가 UltraEP를 오픈소스로 공개하며,정확한 라우팅 정보 기반 실시간 부하 분산을 처음으로 프로덕션 시스템에 도입했다.
  • 매 microbatch와 각 레이어에서 핫스팟 전문가를 동적으로 복제해 평균적으로 이상 성능의 94.
  • 3%를 달성했으며,업계 SOTA 훈련·추론 프레임워크 대비 1.
  • 49배 향상됐다.
  • 이 방안은 288B 파라미터 MoE 모델의 전체 사전 훈련에 배포되어 이상 성능의 92% 이상을 유지하고 있다.

한눈에 보기

게시
업데이트
출처
公众号:小红书技术(dots.llm)
카테고리
제품 및 앱
AI 점수
76
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 샤오홍슈·베이징대, UltraEP 오픈소스 공개…대규모 MoE 훈련·추론을 위한 '최적' 부하 분산 방안. 2026년 7월 20일. https://new.nat6.net/ko/news/cmsdu108a00uerofzae7t96q3/

전체 보기 →