Rilis Model

inclusionAI Ant Group Merilis Sumber Terbuka Model Bahasa Dasar Efisien Seri Ling-3.0

Judul asli:inclusionAI/Ling-3.0-flash-base-30T

Ringkasan AI

inclusionAI Ant Group merilis sumber terbuka model bahasa dasar seri Ling-3.0, serta menerbitkan checkpoint dari beberapa tahap termasuk pra-pelatihan, pelatihan menengah, dan penggabungan (WSM). Seri ini menggunakan arsitektur MoE sangat sparse (1/64), dengan hanya 8 dari 512 expert terarah yang aktif per token, parameter aktif hanya 5,1B (Non-emb), total parameter 124B, serta menggabungkan secara native attention linear hibrida KDA dan Gated MLA untuk menangani konteks panjang secara efisien.

Poin utama

  • inclusionAI Ant Group merilis sumber terbuka model bahasa dasar seri Ling-3.
  • 0,serta menerbitkan checkpoint dari beberapa tahap termasuk pra-pelatihan,pelatihan menengah,dan…
  • Seri ini menggunakan arsitektur MoE sangat sparse (1/64),dengan hanya 8 dari 512 expert terarah…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
蚂蚁 inclusionAI:HuggingFace 新模型
Kategori
Rilis Model
Skor AI
68
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: inclusionAI Ant Group Merilis Sumber Terbuka Model Bahasa Dasar Efisien Seri Ling-3.0. 11 Agustus 2026. https://new.nat6.net/id/news/cmt0aa8b416yzrodp2cnlw3wj/

Lihat semua →