논문 및 연구

MiniMax 대규모 언어 모델이 '马嘉祺'를 말할 수 없는 이유: 희소 토큰 망각 내부 조사

원제목:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting

AI 요약

MiniMax M2 시리즈 대규모 언어 모델은 생성 시 희소 토큰 '嘉祺'(예: '马嘉祺')를 출력하지 못합니다. 내부 조사에서 tokenizer 정렬 문제는 배제되었고, 근본 원인은 후훈련 단계에서 저빈도 토큰의 생성 확률이 억제된 것으로 밝혀졌습니다. 이 문제는 후속 모델 업데이트에서 수정되었으며, 다른 소수 언어 혼합 문제도 함께 해결되었습니다.

핵심 정보

  • MiniMax M2 시리즈 대규모 언어 모델은 생성 시 희소 토큰 '嘉祺'(예: '马嘉祺')를 출력하지 못합니다.
  • 내부 조사에서 tokenizer 정렬 문제는 배제되었고,근본 원인은 후훈련 단계에서 저빈도 토큰의 생성 확률이 억제된 것으로 밝혀졌습니다.
  • 이 문제는 후속 모델 업데이트에서 수정되었으며,다른 소수 언어 혼합 문제도 함께 해결되었습니다.

한눈에 보기

게시
업데이트
출처
MiniMax:Blog(网页)
카테고리
논문 및 연구
AI 점수
59
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: MiniMax 대규모 언어 모델이 '马嘉祺'를 말할 수 없는 이유: 희소 토큰 망각 내부 조사. 2026년 5월 26일. https://new.nat6.net/ko/news/cmpunu0g50004slbrmt8z83g7/

전체 보기 →