EMO: Mô hình hỗn hợp chuyên gia cho tiền huấn luyện mô-đun nổi bật
Tiêu đề gốc:EMO: Pretraining mixture of experts for emergent modularity
Tóm tắt AI
EMO là một mô hình hỗn hợp chuyên gia mới, thông qua tiền huấn luyện đầu cuối giúp cấu trúc mô-đun nổi bật trực tiếp từ dữ liệu, không cần dựa vào tiên nghiệm do con người định nghĩa. Mô hình cho phép chỉ sử dụng 12,5% tập chuyên gia (tức một phần trong 8 chuyên gia hoạt động) trong tác vụ cụ thể mà vẫn giữ hiệu năng gần bằng mô hình đầy đủ; khi dùng tất cả 128 chuyên gia, nó vẫn là mô hình tổng quát mạnh mẽ. EMO có 1B tham số hoạt động và 14B tổng tham số, dữ liệu huấn luyện đạt 1 nghìn tỷ token. So với MoE tiêu chuẩn, EMO thông qua ràng buộc định tuyến cấp tài liệu khuyến khích chuyên gia hình thành nhóm chuyên môn hóa lĩnh vực, từ đó hỗ trợ sử dụng chọn lọc mà không gây suy giảm hiệu năng nghiêm trọng, hiện thực hóa kiến trúc có thể kết hợp, tối ưu hóa đánh đổi bộ nhớ - độ chính xác của MoE thưa lớn.
Thông tin chính
- EMO là một mô hình hỗn hợp chuyên gia mới,thông qua tiền huấn luyện đầu cuối giúp cấu trúc mô-đun…
- Mô hình cho phép chỉ sử dụng 12,5% tập chuyên gia (tức một phần trong 8 chuyên gia hoạt động)…
- khi dùng tất cả 128 chuyên gia,nó vẫn là mô hình tổng quát mạnh mẽ.
- EMO có 1B tham số hoạt động và 14B tổng tham số,dữ liệu huấn luyện đạt 1 nghìn tỷ token.
- So với MoE tiêu chuẩn,EMO thông qua ràng buộc định tuyến cấp tài liệu khuyến khích chuyên gia hình…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- Hugging Face 社区博客(混合发现)
- Danh mục
- Ra mắt mô hình
- Điểm AI
- 72
EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: EMO: Mô hình hỗn hợp chuyên gia cho tiền huấn luyện mô-đun nổi bật. 9 tháng 5 2026. https://new.nat6.net/vi/news/cmox4xh0p006lslguuhqaou8t/