Ra mắt mô hình

Ant inclusionAI mã nguồn mở dòng mô hình nền tảng ngôn ngữ hiệu quả Ling-3.0

Tiêu đề gốc:inclusionAI/Ling-3.0-flash-base-midtrain

Tóm tắt AI

Ant inclusionAI mã nguồn mở dòng mô hình nền tảng ngôn ngữ Ling-3.0, dùng kiến trúc MoE thưa cao (1/64), mỗi token chỉ kích hoạt 8 trong 512 chuyên gia định tuyến, tổng tham số 124B, tham số kích hoạt chỉ 5,1B. Dòng mô hình tích hợp sẵn attention tuyến tính và thay thế suy giảm tốc độ học truyền thống bằng hợp nhất checkpoint có trọng số. Bản phát hành gồm checkpoint ở nhiều giai đoạn huấn luyện như tiền huấn luyện, huấn luyện giữa và hợp nhất (WSM), hỗ trợ tiếp tục tiền huấn luyện và tinh chỉnh, mô hình dùng giấy phép MIT.

Thông tin chính

  • Ant inclusionAI mã nguồn mở dòng mô hình nền tảng ngôn ngữ Ling-3.
  • 0,dùng kiến trúc MoE thưa cao (1/64),mỗi token chỉ kích hoạt 8 trong 512 chuyên gia định…
  • Dòng mô hình tích hợp sẵn attention tuyến tính và thay thế suy giảm tốc độ học truyền thống bằng…
  • Bản phát hành gồm checkpoint ở nhiều giai đoạn huấn luyện như tiền huấn luyện,huấn luyện giữa và…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
蚂蚁 inclusionAI:HuggingFace 新模型
Danh mục
Ra mắt mô hình
Điểm AI
64
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Ant inclusionAI mã nguồn mở dòng mô hình nền tảng ngôn ngữ hiệu quả Ling-3.0. 11 tháng 8 2026. https://new.nat6.net/vi/news/cmt0aa8b416z0rodptcwaftq0/

Xem tất cả →