inclusionAI Ant Group Merilis Sumber Terbuka Model Bahasa Dasar Efisien Seri Ling-3.0
Judul asli:inclusionAI/Ling-3.0-flash-base-30T
Ringkasan AI
inclusionAI Ant Group merilis sumber terbuka model bahasa dasar seri Ling-3.0, serta menerbitkan checkpoint dari beberapa tahap termasuk pra-pelatihan, pelatihan menengah, dan penggabungan (WSM). Seri ini menggunakan arsitektur MoE sangat sparse (1/64), dengan hanya 8 dari 512 expert terarah yang aktif per token, parameter aktif hanya 5,1B (Non-emb), total parameter 124B, serta menggabungkan secara native attention linear hibrida KDA dan Gated MLA untuk menangani konteks panjang secara efisien.
Poin utama
- inclusionAI Ant Group merilis sumber terbuka model bahasa dasar seri Ling-3.
- 0,serta menerbitkan checkpoint dari beberapa tahap termasuk pra-pelatihan,pelatihan menengah,dan…
- Seri ini menggunakan arsitektur MoE sangat sparse (1/64),dengan hanya 8 dari 512 expert terarah…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Rilis Model
- Skor AI
- 68
把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: inclusionAI Ant Group Merilis Sumber Terbuka Model Bahasa Dasar Efisien Seri Ling-3.0. 11 Agustus 2026. https://new.nat6.net/id/news/cmt0aa8b416yzrodp2cnlw3wj/