Bài báo & nghiên cứu

Vì sao mô hình ngôn ngữ lớn MiniMax không thể nói “Mã Gia Kỳ”? Điều tra nội bộ về hiện tượng quên token thưa

Tiêu đề gốc:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting

Tóm tắt AI

Dòng mô hình ngôn ngữ lớn MiniMax M2 không thể xuất ra token thưa “Gia Kỳ” (như “Mã Gia Kỳ”) khi sinh văn bản. Điều tra nội bộ đã loại trừ vấn đề căn chỉnh tokenizer, phát hiện nguyên nhân gốc là giai đoạn hậu huấn luyện đã ức chế xác suất sinh các token tần suất thấp. Vấn đề đã được khắc phục trong bản cập nhật mô hình tiếp theo, đồng thời giải quyết luôn các vấn đề trộn lẫn ngôn ngữ nhỏ khác.

Thông tin chính

  • Dòng mô hình ngôn ngữ lớn MiniMax M2 không thể xuất ra token thưa “Gia Kỳ” (như “Mã Gia Kỳ”) khi…
  • Điều tra nội bộ đã loại trừ vấn đề căn chỉnh tokenizer,phát hiện nguyên nhân gốc là giai đoạn hậu…
  • Vấn đề đã được khắc phục trong bản cập nhật mô hình tiếp theo,đồng thời giải quyết luôn các vấn đề…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
MiniMax:Blog(网页)
Danh mục
Bài báo & nghiên cứu
Điểm AI
59
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Vì sao mô hình ngôn ngữ lớn MiniMax không thể nói “Mã Gia Kỳ”? Điều tra nội bộ về hiện tượng quên token thưa. 26 tháng 5 2026. https://new.nat6.net/vi/news/cmpunu0g50004slbrmt8z83g7/

Xem tất cả →