Ra mắt mô hình

Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng Ling-3.0

Tiêu đề gốc:inclusionAI/Ling-3.0-tiny-base

Tóm tắt AI

Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng Ling-3.0, gồm hai kích thước tiny và flash cùng các checkpoint ở giai đoạn tiền huấn luyện, huấn luyện giữa và hợp nhất (WSM). Dòng mô hình dùng kiến trúc attention tuyến tính lai và MoE thưa, tổng tham số 7,9B, mỗi token chỉ kích hoạt 1,3B tham số (kích hoạt 8 trong 128 chuyên gia định tuyến).

Thông tin chính

  • Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng Ling-3.
  • 0,gồm hai kích thước tiny và flash cùng các checkpoint ở giai đoạn tiền huấn luyện,huấn luyện giữa…
  • Dòng mô hình dùng kiến trúc attention tuyến tính lai và MoE thưa,tổng tham số 7,9B,mỗi token chỉ…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
蚂蚁 inclusionAI:HuggingFace 新模型
Danh mục
Ra mắt mô hình
Điểm AI
65
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

用加权检查点合并替代学习率衰减,让基座模型更适合持续预训练,也为验证不同衰减曲线省去重复实验。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng Ling-3.0. 11 tháng 8 2026. https://new.nat6.net/vi/news/cmt0aa8b416ywrodpq8czlstx/

Xem tất cả →