Artículos e investigación

Por qué el gran modelo de lenguaje de MiniMax no puede decir "Ma Jiaqi": una investigación interna sobre el olvido de tokens dispersos

Título original:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting

Resumen de IA

Los grandes modelos de lenguaje de la serie MiniMax M2 no pueden generar el token disperso "Jiaqi" (como en "Ma Jiaqi") durante la generación. Una investigación interna descartó problemas de alineación del tokenizer y encontró que la causa raíz es la supresión de la probabilidad de generación de tokens de baja frecuencia durante la fase de post-entrenamiento. El problema se ha corregido en actualizaciones posteriores del modelo, y de paso se han resuelto otros problemas de mezcla de idiomas minoritarios.

Puntos clave

  • Los grandes modelos de lenguaje de la serie MiniMax M2 no pueden generar el token disperso "Jiaqi"…
  • Una investigación interna descartó problemas de alineación del tokenizer y encontró que la causa…
  • El problema se ha corregido en actualizaciones posteriores del modelo,y de paso se han resuelto…

Resumen rápido

Publicado
Actualizado
Fuente
MiniMax:Blog(网页)
Categoría
Artículos e investigación
Puntuación IA
59
Leer el original Leer el artículo completo en la fuente original
Por qué importa

这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Por qué el gran modelo de lenguaje de MiniMax no puede decir "Ma Jiaqi": una investigación interna sobre el olvido de tokens dispersos. 26. mayo 2026. https://new.nat6.net/es/news/cmpunu0g50004slbrmt8z83g7/

Ver todo →