Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng Ling-3.0
Tiêu đề gốc:inclusionAI/Ling-3.0-tiny-base
Tóm tắt AI
Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng Ling-3.0, gồm hai kích thước tiny và flash cùng các checkpoint ở giai đoạn tiền huấn luyện, huấn luyện giữa và hợp nhất (WSM). Dòng mô hình dùng kiến trúc attention tuyến tính lai và MoE thưa, tổng tham số 7,9B, mỗi token chỉ kích hoạt 1,3B tham số (kích hoạt 8 trong 128 chuyên gia định tuyến).
Thông tin chính
- Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng Ling-3.
- 0,gồm hai kích thước tiny và flash cùng các checkpoint ở giai đoạn tiền huấn luyện,huấn luyện giữa…
- Dòng mô hình dùng kiến trúc attention tuyến tính lai và MoE thưa,tổng tham số 7,9B,mỗi token chỉ…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Danh mục
- Ra mắt mô hình
- Điểm AI
- 65
用加权检查点合并替代学习率衰减,让基座模型更适合持续预训练,也为验证不同衰减曲线省去重复实验。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng Ling-3.0. 11 tháng 8 2026. https://new.nat6.net/vi/news/cmt0aa8b416ywrodpq8czlstx/