Bài báo & nghiên cứu

MiniMax phát hành phương pháp chú ý thưa MSA, mở mã nguồn nhân suy luận và ra mắt mô hình MiniMax-M3

Tiêu đề gốc:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget

Tóm tắt AI

MiniMax phát hành MSA (MiniMax Sparse Attention), phương pháp chú ý thưa xây dựng trên Grouped Query Attention. Phương pháp phân tách chú ý thành nhánh chỉ mục và nhánh chính: nhánh chỉ mục chọn 16 khối token cho mỗi nhóm GQA theo mức khối (mặc định 128 token), ngân sách cố định 2048 token khóa-giá trị; nhánh chính chỉ thực hiện chú ý softmax chính xác trên các khối này. MSA được huấn luyện trên mô hình MoE 109B tham số, mở mã nguồn nhân suy luận `fmha_sm100` cho GPU NVIDIA SM100 (giấy phép MIT, hỗ trợ BF16/FP8/NVFP4/FP4), và phát hành mô hình sản xuất MiniMax-M3. MSA-PT đạt lần lượt 67,2, 77,7, 64,0, 84,2, 77,5 trên MMLU, GSM8K, HumanEval, RULER-8K, RULER-32K, ngang bằng đường cơ sở chú ý đầy đủ. Với ngữ cảnh 128K, lựa chọn Top-k không dùng exp nhanh hơn `torch.topk` 5,1 lần.

Thông tin chính

  • MiniMax phát hành MSA (MiniMax Sparse Attention),phương pháp chú ý thưa xây dựng trên Grouped…
  • Phương pháp phân tách chú ý thành nhánh chỉ mục và nhánh chính: nhánh chỉ mục chọn 16 khối token…
  • nhánh chính chỉ thực hiện chú ý softmax chính xác trên các khối này.
  • MSA được huấn luyện trên mô hình MoE 109B tham số,mở mã nguồn nhân suy luận `fmha_sm100` cho GPU…
  • MSA-PT đạt lần lượt 67,2,77,7,64,0,84,2,77,5 trên MMLU,GSM8K,HumanEval,RULER-8K,RULER-32K,ngang…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
MarkTechPost(RSS)
Danh mục
Bài báo & nghiên cứu
Điểm AI
70
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: MiniMax phát hành phương pháp chú ý thưa MSA, mở mã nguồn nhân suy luận và ra mắt mô hình MiniMax-M3. 17 tháng 6 2026. https://new.nat6.net/vi/news/cmqhsdiv401zcslf08vuq50zc/

Xem tất cả →