Статьи и исследования

Почему большая языковая модель MiniMax не может произнести «Ма Цзяци»? Внутреннее расследование забывания разреженных токенов

Оригинальный заголовок:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting

ИИ-резюме

Большие языковые модели серии MiniMax M2 при генерации не могут выдать разреженный токен «Цзяци» (например, «Ма Цзяци»). Внутреннее расследование исключило проблему выравнивания токенизатора и выявило, что корневой причиной является подавление вероятности генерации низкочастотных токенов на этапе постобучения. Проблема была исправлена в последующих обновлениях модели, попутно были решены и другие проблемы смешения малых языков.

Ключевые моменты

  • Большие языковые модели серии MiniMax M2 при генерации не могут выдать разреженный токен «Цзяци»…
  • Внутреннее расследование исключило проблему выравнивания токенизатора и выявило,что корневой…
  • Проблема была исправлена в последующих обновлениях модели,попутно были решены и другие проблемы…

Кратко

Опубликовано
Обновлено
Источник
MiniMax:Blog(网页)
Категория
Статьи и исследования
Оценка ИИ
59
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Почему большая языковая модель MiniMax не может произнести «Ма Цзяци»? Внутреннее расследование забывания разреженных токенов. 26 мая 2026. https://new.nat6.net/ru/news/cmpunu0g50004slbrmt8z83g7/

Смотреть все →