Ant inclusionAI mã nguồn mở dòng mô hình nền tảng ngôn ngữ hiệu quả Ling-3.0
Tiêu đề gốc:inclusionAI/Ling-3.0-flash-base-midtrain
Tóm tắt AI
Ant inclusionAI mã nguồn mở dòng mô hình nền tảng ngôn ngữ Ling-3.0, dùng kiến trúc MoE thưa cao (1/64), mỗi token chỉ kích hoạt 8 trong 512 chuyên gia định tuyến, tổng tham số 124B, tham số kích hoạt chỉ 5,1B. Dòng mô hình tích hợp sẵn attention tuyến tính và thay thế suy giảm tốc độ học truyền thống bằng hợp nhất checkpoint có trọng số. Bản phát hành gồm checkpoint ở nhiều giai đoạn huấn luyện như tiền huấn luyện, huấn luyện giữa và hợp nhất (WSM), hỗ trợ tiếp tục tiền huấn luyện và tinh chỉnh, mô hình dùng giấy phép MIT.
Thông tin chính
- Ant inclusionAI mã nguồn mở dòng mô hình nền tảng ngôn ngữ Ling-3.
- 0,dùng kiến trúc MoE thưa cao (1/64),mỗi token chỉ kích hoạt 8 trong 512 chuyên gia định…
- Dòng mô hình tích hợp sẵn attention tuyến tính và thay thế suy giảm tốc độ học truyền thống bằng…
- Bản phát hành gồm checkpoint ở nhiều giai đoạn huấn luyện như tiền huấn luyện,huấn luyện giữa và…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Danh mục
- Ra mắt mô hình
- Điểm AI
- 64
把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Ant inclusionAI mã nguồn mở dòng mô hình nền tảng ngôn ngữ hiệu quả Ling-3.0. 11 tháng 8 2026. https://new.nat6.net/vi/news/cmt0aa8b416z0rodptcwaftq0/