모델 출시

EMO: 창발적 모듈화 사전 훈련을 위한 전문가 혼합 모델

원제목:EMO: Pretraining mixture of experts for emergent modularity

AI 요약

EMO는 엔드투엔드 사전 훈련을 통해 인간이 정의한 사전 지식 없이 모듈화 구조가 데이터에서 직접 창발하도록 하는 새로운 전문가 혼합 모델이다. 이 모델은 특정 작업에서 전문가 하위 집합 12.5%(활성 전문가 8개 중 일부)만 사용하면서도 전체 모델에 가까운 성능을 유지하며, 128개 전문가를 모두 사용할 때는 강력한 범용 모델로 작동한다. EMO는 활성 파라미터 1B, 전체 파라미터 14B이며 훈련 데이터는 1조 토큰에 달한다. 표준 MoE와 비교해 EMO는 문서 수준 라우팅 제약으로 전문가가 도메인 전문화 그룹을 형성하도록 유도해 심각한 성능 저하 없이 선택적 사용을 지원하며, 조합 가능한 아키텍처를 구현해 대형 희소 MoE의 메모리-정확도 트레이드오프를 최적화한다.

핵심 정보

  • EMO는 엔드투엔드 사전 훈련을 통해 인간이 정의한 사전 지식 없이 모듈화 구조가 데이터에서 직접 창발하도록 하는 새로운 전문가 혼합 모델이다.
  • 이 모델은 특정 작업에서 전문가 하위 집합 12.
  • 5%(활성 전문가 8개 중 일부)만 사용하면서도 전체 모델에 가까운 성능을 유지하며,128개 전문가를 모두 사용할 때는 강력한 범용 모델로 작동한다.
  • EMO는 활성 파라미터 1B,전체 파라미터 14B이며 훈련 데이터는 1조 토큰에 달한다.
  • 표준 MoE와 비교해 EMO는 문서 수준 라우팅 제약으로 전문가가 도메인 전문화 그룹을 형성하도록 유도해 심각한 성능 저하 없이 선택적 사용을 지원하며,조합 가능한 아키텍처를…

한눈에 보기

게시
업데이트
출처
Hugging Face 社区博客(混合发现)
카테고리
모델 출시
AI 점수
72
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: EMO: 창발적 모듈화 사전 훈련을 위한 전문가 혼합 모델. 2026년 5월 9일. https://new.nat6.net/ko/news/cmox4xh0p006lslguuhqaou8t/

전체 보기 →
  • 1조 파라미터 지시 모델 Ling-2.6-1T 출시

    inclusionAI가 Ling-2.6-1T가 OpenRouter에 출시됐다고 발표했다. 🚀 이 1조 파라미터 플래그십 지시 모델은 현실 세계 에이전트를 위해 설계됐다. '빠른 사고' 방식을 채택해 AIME26과…

    X:蚂蚁百灵 (@AntLingAGI)모델 출시AI 점수 76

  • GPT-5.5와 GPT-5.5-Cyber로 사이버 분야 신뢰 접근 확대

    OpenAI는 사이버 보안 분야의 신뢰 접근 프로그램을 확대하며 GPT-5.5와 사이버 보안 전용 GPT-5.5-Cyber 모델을 출시했다. 이는 검증된 사이버 보안 방어자가 취약점 연구를 가속하고 핵심 인프라…

    OpenAI:官网动态(RSS · 排除企业/客户案例)모델 출시AI 점수 74

  • API의 새 모델로 음성 지능 발전시키기

    OpenAI API가 추론, 번역, 음성 전사가 가능한 새로운 실시간 음성 모델을 출시했다. 이 모델들은 음성 상호작용의 자연스러움과 지능 수준을 크게 높이고 실시간 처리와 다국어 변환을 지원한다. 새 기능은…

    OpenAI:官网动态(RSS · 排除企业/客户案例)모델 출시AI 점수 86

  • SenseNova U1 이미지 생성 모델, ComfyUI 플랫폼 출시

    SenseNova U1 이미지 생성 모델이 이제 ComfyUI에서 실행 가능하며, REBEL AI를 비롯한 평가자들로부터 높은 평가를 받았다. REBEL AI가 공개한 실습 튜토리얼은 해당 모델의 배포 워크플로를…

    X:商汤 SenseTime (@SenseTime_AI)모델 출시AI 점수 72