inclusionAI Ant Group Merilis Sumber Terbuka Model Dasar Bahasa Efisien Seri Ling-3.0
Judul asli:inclusionAI/Ling-3.0-flash-base-midtrain
Ringkasan AI
inclusionAI Ant Group merilis sumber terbuka model dasar bahasa seri Ling-3.0 yang menggunakan arsitektur MoE sangat sparse (1/64), dengan 8 dari 512 expert terarah aktif per token, total parameter 124B, dan parameter aktif hanya 5,1B. Seri ini secara native memadukan attention linear dan menggantikan peluruhan learning rate tradisional dengan penggabungan checkpoint berbobot. Rilis ini mencakup checkpoint dari beberapa tahap pelatihan termasuk pra-pelatihan, pelatihan menengah, dan penggabungan (WSM), mendukung pra-pelatihan lanjutan dan fine-tuning, dengan lisensi MIT.
Poin utama
- inclusionAI Ant Group merilis sumber terbuka model dasar bahasa seri Ling-3.
- 0 yang menggunakan arsitektur MoE sangat sparse (1/64),dengan 8 dari 512 expert terarah aktif per…
- Seri ini secara native memadukan attention linear dan menggantikan peluruhan learning rate…
- Rilis ini mencakup checkpoint dari beberapa tahap pelatihan termasuk pra-pelatihan,pelatihan…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Rilis Model
- Skor AI
- 64
把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: inclusionAI Ant Group Merilis Sumber Terbuka Model Dasar Bahasa Efisien Seri Ling-3.0. 11 Agustus 2026. https://new.nat6.net/id/news/cmt0aa8b416z0rodptcwaftq0/