Pelancaran Model

inclusionAI Ant Group Sumber Terbuka Siri Model Asas Bahasa Cekap Ling-3.0

Tajuk asal:inclusionAI/Ling-3.0-flash-base-midtrain

Ringkasan AI

inclusionAI Ant Group mengeluarkan secara sumber terbuka siri model asas bahasa Ling-3.0, menggunakan seni bina MoE sangat jarang (1/64), daripada 512 pakar penghala setiap token hanya mengaktifkan 8, jumlah parameter 124B, parameter diaktifkan hanya 5.1B. Siri ini menggabungkan secara asli perhatian linear, dan menggunakan penggabungan pusat pemeriksaan berwajaran bagi menggantikan penurunan kadar pembelajaran tradisional. Pelancaran ini merangkumi pusat pemeriksaan pelbagai peringkat latihan termasuk pra-latihan, latihan pertengahan dan penggabungan (WSM), menyokong pra-latihan lanjutan dan penalaan halus, model menggunakan lesen MIT.

Maklumat penting

  • inclusionAI Ant Group mengeluarkan secara sumber terbuka siri model asas bahasa Ling-3.
  • 0,menggunakan seni bina MoE sangat jarang (1/64),daripada 512 pakar penghala setiap token hanya…
  • Siri ini menggabungkan secara asli perhatian linear,dan menggunakan penggabungan pusat pemeriksaan…
  • Pelancaran ini merangkumi pusat pemeriksaan pelbagai peringkat latihan termasuk…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
蚂蚁 inclusionAI:HuggingFace 新模型
Kategori
Pelancaran Model
Skor AI
64
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: inclusionAI Ant Group Sumber Terbuka Siri Model Asas Bahasa Cekap Ling-3.0. 11 Ogos 2026. https://new.nat6.net/ms/news/cmt0aa8b416z0rodptcwaftq0/

Lihat Semua →