inclusionAI Ant Group Merilis Sumber Terbuka Model Bahasa Dasar Efisien Seri Ling-3.0
Judul asli:inclusionAI/Ling-3.0-tiny-base-30T
Ringkasan AI
inclusionAI Ant Group merilis sumber terbuka model bahasa dasar efisien seri Ling-3.0, serta menerbitkan checkpoint tahap pra-pelatihan, pelatihan menengah, dan penggabungan (WSM), yang mendukung pra-pelatihan lanjutan, fine-tuning, dan riset. Ling-3.0-tiny-base menggunakan arsitektur MoE sparse dengan 128 expert terarah, hanya 1,3B parameter aktif per token, total parameter 7,9B, serta attention linear hibrida native untuk menangani konteks panjang secara efisien.
Poin utama
- inclusionAI Ant Group merilis sumber terbuka model bahasa dasar efisien seri Ling-3.
- 0,serta menerbitkan checkpoint tahap pra-pelatihan,pelatihan menengah,dan penggabungan (WSM),yang…
- 0-tiny-base menggunakan arsitektur MoE sparse dengan 128 expert terarah,hanya 1,3B parameter aktif…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Rilis Model
- Skor AI
- 63
它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: inclusionAI Ant Group Merilis Sumber Terbuka Model Bahasa Dasar Efisien Seri Ling-3.0. 11 Agustus 2026. https://new.nat6.net/id/news/cmt0aa8b416yxrodpvq5x791t/