Ra mắt mô hình

Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng hiệu quả Ling-3.0

Tiêu đề gốc:inclusionAI/Ling-3.0-tiny-base-30T

Tóm tắt AI

Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng hiệu quả Ling-3.0, đồng thời phát hành checkpoint ở các giai đoạn tiền huấn luyện, huấn luyện giữa và hợp nhất (WSM), hỗ trợ tiếp tục tiền huấn luyện, tinh chỉnh và nghiên cứu. Ling-3.0-tiny-base dùng kiến trúc MoE thưa với 128 chuyên gia định tuyến, mỗi token chỉ kích hoạt 1,3B tham số, tổng tham số 7,9B, tích hợp sẵn attention tuyến tính lai để xử lý ngữ cảnh dài hiệu quả.

Thông tin chính

  • Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng hiệu quả Ling-3.
  • 0,đồng thời phát hành checkpoint ở các giai đoạn tiền huấn luyện,huấn luyện giữa và hợp nhất…
  • 0-tiny-base dùng kiến trúc MoE thưa với 128 chuyên gia định tuyến,mỗi token chỉ kích hoạt 1,3B…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
蚂蚁 inclusionAI:HuggingFace 新模型
Danh mục
Ra mắt mô hình
Điểm AI
63
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Ant inclusionAI mã nguồn mở dòng mô hình ngôn ngữ nền tảng hiệu quả Ling-3.0. 11 tháng 8 2026. https://new.nat6.net/vi/news/cmt0aa8b416yxrodpvq5x791t/

Xem tất cả →