पेपर और शोध

MiniMax बड़ा भाषा मॉडल “मा जियाची” क्यों नहीं कह पाता? विरल टोकन विस्मरण की आंतरिक जांच

मूल शीर्षक:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting

AI सारांश

MiniMax M2 श्रृंखला के बड़े भाषा मॉडल जनरेशन के समय विरल टोकन “जियाची” (जैसे “मा जियाची”) उत्पन्न नहीं कर पाते। आंतरिक जांच में टोकनाइज़र संरेखण समस्या को बाहर रखा गया और पाया गया कि मूल कारण पोस्ट-ट्रेनिंग चरण में कम आवृत्ति वाले टोकन की जनरेशन संभावना का दमन है। यह समस्या बाद के मॉडल अपडेट में ठीक कर दी गई है और साथ ही अन्य छोटी भाषाओं के मिश्रण की समस्याएं भी हल हुई हैं।

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
MiniMax:Blog(网页)
श्रेणी
पेपर और शोध
AI स्कोर
59
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: MiniMax बड़ा भाषा मॉडल “मा जियाची” क्यों नहीं कह पाता? विरल टोकन विस्मरण की आंतरिक जांच। 26 मई 2026। https://new.nat6.net/hi/news/cmpunu0g50004slbrmt8z83g7/

सभी देखें →