บทความและงานวิจัย

MiniMax เปิดตัววิธี MSA Sparse Attention เปิดโอเพนซอร์สเคอร์เนลการอนุมาน และเปิดตัวโมเดล MiniMax-M3

หัวข้อต้นฉบับ:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget

สรุปโดย AI

MiniMax เปิดตัว MSA (MiniMax Sparse Attention) วิธี sparse attention ที่สร้างบน Grouped Query Attention โดยแยก attention ออกเป็นสาขา index และสาขาหลัก สาขา index เลือกบล็อกโทเคน 16 บล็อกสำหรับแต่ละกลุ่ม GQA ในระดับบล็อก (ค่าเริ่มต้น 128 โทเคน) ด้วยงบประมาณคงที่ 2,048 คีย์-แวลูโทเคน ส่วนสาขาหลักทำ softmax attention แบบแม่นยำเฉพาะบนบล็อกเหล่านี้ MSA ฝึกบนโมเดล MoE ขนาด 109B พารามิเตอร์ เปิดโอเพนซอร์สเคอร์เนลการอนุมาน `fmha_sm100` สำหรับ GPU NVIDIA SM100 (สัญญาอนุญาต MIT รองรับ BF16/FP8/NVFP4/FP4) และเปิดตัวโมเดลสำหรับการผลิต MiniMax-M3 MSA-PT ทำคะแนนบน MMLU, GSM8K, HumanEval, RULER-8K, RULER-32K ได้ 67.2, 77.7, 64.0, 84.2, 77.5 ตามลำดับ เทียบเท่ากับ baseline แบบ full attention ในบริบท 128K การเลือก Top-k แบบ exp-free เร็วกว่า `torch.topk` 5.1 เท่า

ข้อมูลสำคัญ

  • MiniMax เปิดตัว MSA (MiniMax Sparse Attention) วิธี sparse attention ที่สร้างบน Grouped Query…
  • HumanEval,RULER-8K,RULER-32K ได้ 67.
  • 5 ตามลำดับ เทียบเท่ากับ baseline แบบ full attention ในบริบท 128K การเลือก Top-k แบบ exp-free…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
MarkTechPost(RSS)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
70
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: MiniMax เปิดตัววิธี MSA Sparse Attention เปิดโอเพนซอร์สเคอร์เนลการอนุมาน และเปิดตัวโมเดล MiniMax-M3 17 มิถุนายน 2026 https://new.nat6.net/th/news/cmqhsdiv401zcslf08vuq50zc/

ดูทั้งหมด →