EMO: 창발적 모듈화 사전 훈련을 위한 전문가 혼합 모델
원제목:EMO: Pretraining mixture of experts for emergent modularity
AI 요약
EMO는 엔드투엔드 사전 훈련을 통해 인간이 정의한 사전 지식 없이 모듈화 구조가 데이터에서 직접 창발하도록 하는 새로운 전문가 혼합 모델이다. 이 모델은 특정 작업에서 전문가 하위 집합 12.5%(활성 전문가 8개 중 일부)만 사용하면서도 전체 모델에 가까운 성능을 유지하며, 128개 전문가를 모두 사용할 때는 강력한 범용 모델로 작동한다. EMO는 활성 파라미터 1B, 전체 파라미터 14B이며 훈련 데이터는 1조 토큰에 달한다. 표준 MoE와 비교해 EMO는 문서 수준 라우팅 제약으로 전문가가 도메인 전문화 그룹을 형성하도록 유도해 심각한 성능 저하 없이 선택적 사용을 지원하며, 조합 가능한 아키텍처를 구현해 대형 희소 MoE의 메모리-정확도 트레이드오프를 최적화한다.
핵심 정보
- EMO는 엔드투엔드 사전 훈련을 통해 인간이 정의한 사전 지식 없이 모듈화 구조가 데이터에서 직접 창발하도록 하는 새로운 전문가 혼합 모델이다.
- 이 모델은 특정 작업에서 전문가 하위 집합 12.
- 5%(활성 전문가 8개 중 일부)만 사용하면서도 전체 모델에 가까운 성능을 유지하며,128개 전문가를 모두 사용할 때는 강력한 범용 모델로 작동한다.
- EMO는 활성 파라미터 1B,전체 파라미터 14B이며 훈련 데이터는 1조 토큰에 달한다.
- 표준 MoE와 비교해 EMO는 문서 수준 라우팅 제약으로 전문가가 도메인 전문화 그룹을 형성하도록 유도해 심각한 성능 저하 없이 선택적 사용을 지원하며,조합 가능한 아키텍처를…
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 모델 출시
- AI 점수
- 72
EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: EMO: 창발적 모듈화 사전 훈련을 위한 전문가 혼합 모델. 2026년 5월 9일. https://new.nat6.net/ko/news/cmox4xh0p006lslguuhqaou8t/