Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng hiệu quả Ling-3.0
Tiêu đề gốc:inclusionAI/Ling-3.0-tiny-base-30T
Tóm tắt AI
Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng hiệu quả Ling-3.0, đồng thời phát hành checkpoint ở các giai đoạn tiền huấn luyện, huấn luyện giữa và hợp nhất (WSM), hỗ trợ tiếp tục tiền huấn luyện, tinh chỉnh và nghiên cứu. Ling-3.0-tiny-base dùng kiến trúc MoE thưa với 128 chuyên gia định tuyến, mỗi token chỉ kích hoạt 1,3B tham số, tổng tham số 7,9B, tích hợp sẵn attention tuyến tính lai để xử lý ngữ cảnh dài hiệu quả.
Thông tin chính
- Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng hiệu quả Ling-3.
- 0,đồng thời phát hành checkpoint ở các giai đoạn tiền huấn luyện,huấn luyện giữa và hợp nhất…
- 0-tiny-base dùng kiến trúc MoE thưa với 128 chuyên gia định tuyến,mỗi token chỉ kích hoạt 1,3B…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Danh mục
- Ra mắt mô hình
- Điểm AI
- 63
它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng hiệu quả Ling-3.0. 11 tháng 8 2026. https://new.nat6.net/vi/news/cmt0aa8b416yxrodpvq5x791t/