Почему большая языковая модель MiniMax не может произнести «Ма Цзяци»? Внутреннее расследование забывания разреженных токенов
Оригинальный заголовок:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting
ИИ-резюме
Большие языковые модели серии MiniMax M2 при генерации не могут выдать разреженный токен «Цзяци» (например, «Ма Цзяци»). Внутреннее расследование исключило проблему выравнивания токенизатора и выявило, что корневой причиной является подавление вероятности генерации низкочастотных токенов на этапе постобучения. Проблема была исправлена в последующих обновлениях модели, попутно были решены и другие проблемы смешения малых языков.
Ключевые моменты
- Большие языковые модели серии MiniMax M2 при генерации не могут выдать разреженный токен «Цзяци»…
- Внутреннее расследование исключило проблему выравнивания токенизатора и выявило,что корневой…
- Проблема была исправлена в последующих обновлениях модели,попутно были решены и другие проблемы…
Кратко
- Опубликовано
- Обновлено
- Источник
- MiniMax:Blog(网页)
- Категория
- Статьи и исследования
- Оценка ИИ
- 59
这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Почему большая языковая модель MiniMax не может произнести «Ма Цзяци»? Внутреннее расследование забывания разреженных токенов. 26 мая 2026. https://new.nat6.net/ru/news/cmpunu0g50004slbrmt8z83g7/