inclusionAI Ant Group Sumber Terbuka Siri Model Asas Bahasa Cekap Ling-3.0
Tajuk asal:inclusionAI/Ling-3.0-flash-base-midtrain
Ringkasan AI
inclusionAI Ant Group mengeluarkan secara sumber terbuka siri model asas bahasa Ling-3.0, menggunakan seni bina MoE sangat jarang (1/64), daripada 512 pakar penghala setiap token hanya mengaktifkan 8, jumlah parameter 124B, parameter diaktifkan hanya 5.1B. Siri ini menggabungkan secara asli perhatian linear, dan menggunakan penggabungan pusat pemeriksaan berwajaran bagi menggantikan penurunan kadar pembelajaran tradisional. Pelancaran ini merangkumi pusat pemeriksaan pelbagai peringkat latihan termasuk pra-latihan, latihan pertengahan dan penggabungan (WSM), menyokong pra-latihan lanjutan dan penalaan halus, model menggunakan lesen MIT.
Maklumat penting
- inclusionAI Ant Group mengeluarkan secara sumber terbuka siri model asas bahasa Ling-3.
- 0,menggunakan seni bina MoE sangat jarang (1/64),daripada 512 pakar penghala setiap token hanya…
- Siri ini menggabungkan secara asli perhatian linear,dan menggunakan penggabungan pusat pemeriksaan…
- Pelancaran ini merangkumi pusat pemeriksaan pelbagai peringkat latihan termasuk…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Pelancaran Model
- Skor AI
- 64
把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: inclusionAI Ant Group Sumber Terbuka Siri Model Asas Bahasa Cekap Ling-3.0. 11 Ogos 2026. https://new.nat6.net/ms/news/cmt0aa8b416z0rodptcwaftq0/