MiniMax phát hành phương pháp chú ý thưa MSA, mở mã nguồn nhân suy luận và ra mắt mô hình MiniMax-M3
Tiêu đề gốc:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget
Tóm tắt AI
MiniMax phát hành MSA (MiniMax Sparse Attention), phương pháp chú ý thưa xây dựng trên Grouped Query Attention. Phương pháp phân tách chú ý thành nhánh chỉ mục và nhánh chính: nhánh chỉ mục chọn 16 khối token cho mỗi nhóm GQA theo mức khối (mặc định 128 token), ngân sách cố định 2048 token khóa-giá trị; nhánh chính chỉ thực hiện chú ý softmax chính xác trên các khối này. MSA được huấn luyện trên mô hình MoE 109B tham số, mở mã nguồn nhân suy luận `fmha_sm100` cho GPU NVIDIA SM100 (giấy phép MIT, hỗ trợ BF16/FP8/NVFP4/FP4), và phát hành mô hình sản xuất MiniMax-M3. MSA-PT đạt lần lượt 67,2, 77,7, 64,0, 84,2, 77,5 trên MMLU, GSM8K, HumanEval, RULER-8K, RULER-32K, ngang bằng đường cơ sở chú ý đầy đủ. Với ngữ cảnh 128K, lựa chọn Top-k không dùng exp nhanh hơn `torch.topk` 5,1 lần.
Thông tin chính
- MiniMax phát hành MSA (MiniMax Sparse Attention),phương pháp chú ý thưa xây dựng trên Grouped…
- Phương pháp phân tách chú ý thành nhánh chỉ mục và nhánh chính: nhánh chỉ mục chọn 16 khối token…
- nhánh chính chỉ thực hiện chú ý softmax chính xác trên các khối này.
- MSA được huấn luyện trên mô hình MoE 109B tham số,mở mã nguồn nhân suy luận `fmha_sm100` cho GPU…
- MSA-PT đạt lần lượt 67,2,77,7,64,0,84,2,77,5 trên MMLU,GSM8K,HumanEval,RULER-8K,RULER-32K,ngang…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- MarkTechPost(RSS)
- Danh mục
- Bài báo & nghiên cứu
- Điểm AI
- 70
MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: MiniMax phát hành phương pháp chú ý thưa MSA, mở mã nguồn nhân suy luận và ra mắt mô hình MiniMax-M3. 17 tháng 6 2026. https://new.nat6.net/vi/news/cmqhsdiv401zcslf08vuq50zc/