Por qué el gran modelo de lenguaje de MiniMax no puede decir "Ma Jiaqi": una investigación interna sobre el olvido de tokens dispersos
Título original:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting
Resumen de IA
Los grandes modelos de lenguaje de la serie MiniMax M2 no pueden generar el token disperso "Jiaqi" (como en "Ma Jiaqi") durante la generación. Una investigación interna descartó problemas de alineación del tokenizer y encontró que la causa raíz es la supresión de la probabilidad de generación de tokens de baja frecuencia durante la fase de post-entrenamiento. El problema se ha corregido en actualizaciones posteriores del modelo, y de paso se han resuelto otros problemas de mezcla de idiomas minoritarios.
Puntos clave
- Los grandes modelos de lenguaje de la serie MiniMax M2 no pueden generar el token disperso "Jiaqi"…
- Una investigación interna descartó problemas de alineación del tokenizer y encontró que la causa…
- El problema se ha corregido en actualizaciones posteriores del modelo,y de paso se han resuelto…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- MiniMax:Blog(网页)
- Categoría
- Artículos e investigación
- Puntuación IA
- 59
这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Por qué el gran modelo de lenguaje de MiniMax no puede decir "Ma Jiaqi": una investigación interna sobre el olvido de tokens dispersos. 26. mayo 2026. https://new.nat6.net/es/news/cmpunu0g50004slbrmt8z83g7/