Microsoft AI, MAI-Base-2 사전 훈련 공개…2.8T 파라미터 MoE 모델 FLOPs 효율 DeepSeek-V4-Pro-Base의 4.2~12.3배
원제목:Frontier Pre-training at Microsoft AI
AI 요약
Microsoft AI가 MAI-Base-2 사전 훈련을 완료했다고 발표했다. 800억 활성, 2.8T 총 파라미터의 MoE 기반 모델로, held-out 평가에서 BPB가 테스트한 모든 오픈 가중치 모델보다 낮았으며 사전 훈련 FLOPs 효율은 DeepSeek-V4-Pro-Base보다 4.2~12.3배 높다.
핵심 정보
- Microsoft AI가 MAI-Base-2 사전 훈련을 완료했다고 발표했다.
- 800억 활성,2.
- 8T 총 파라미터의 MoE 기반 모델로,held-out 평가에서 BPB가 테스트한 모든 오픈 가중치 모델보다 낮았으며 사전 훈련 FLOPs 효율은…
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 모델 출시
- AI 점수
- 66
추천 이유
官方披露了 MAI-Base-2 的完整预训练方法,读者可以从中了解 scaling ladder、Muon 优化和多轮 dropless MoE 等可借鉴的工程细节。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: Microsoft AI, MAI-Base-2 사전 훈련 공개…2.8T 파라미터 MoE 모델 FLOPs 효율 DeepSeek-V4-Pro-Base의 4.2~12.3배. 2026년 10월 16일. https://new.nat6.net/ko/news/f7ey01hbckuivmlgen9jq0vaf/