Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng hiệu quả Ling-3.0
Tiêu đề gốc:inclusionAI/Ling-3.0-flash-base-30T
Tóm tắt AI
Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng Ling-3.0, đồng thời phát hành checkpoint ở nhiều giai đoạn như tiền huấn luyện, huấn luyện giữa và hợp nhất (WSM). Dòng mô hình dùng kiến trúc MoE thưa cao (1/64), mỗi token chỉ kích hoạt 8 trong 512 chuyên gia định tuyến, tham số kích hoạt chỉ 5,1B (Non-emb), tổng tham số 124B, tích hợp sẵn attention tuyến tính lai KDA và Gated MLA để xử lý ngữ cảnh dài hiệu quả.
Thông tin chính
- Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng Ling-3.
- 0,đồng thời phát hành checkpoint ở nhiều giai đoạn như tiền huấn luyện,huấn luyện giữa và hợp nhất…
- Dòng mô hình dùng kiến trúc MoE thưa cao (1/64),mỗi token chỉ kích hoạt 8 trong 512 chuyên gia…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Danh mục
- Ra mắt mô hình
- Điểm AI
- 68
把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng hiệu quả Ling-3.0. 11 tháng 8 2026. https://new.nat6.net/vi/news/cmt0aa8b416yzrodp2cnlw3wj/