Rilis Model

inclusionAI Ant Group Merilis Sumber Terbuka Model Dasar Bahasa Efisien Seri Ling-3.0

Judul asli:inclusionAI/Ling-3.0-flash-base-midtrain

Ringkasan AI

inclusionAI Ant Group merilis sumber terbuka model dasar bahasa seri Ling-3.0 yang menggunakan arsitektur MoE sangat sparse (1/64), dengan 8 dari 512 expert terarah aktif per token, total parameter 124B, dan parameter aktif hanya 5,1B. Seri ini secara native memadukan attention linear dan menggantikan peluruhan learning rate tradisional dengan penggabungan checkpoint berbobot. Rilis ini mencakup checkpoint dari beberapa tahap pelatihan termasuk pra-pelatihan, pelatihan menengah, dan penggabungan (WSM), mendukung pra-pelatihan lanjutan dan fine-tuning, dengan lisensi MIT.

Poin utama

  • inclusionAI Ant Group merilis sumber terbuka model dasar bahasa seri Ling-3.
  • 0 yang menggunakan arsitektur MoE sangat sparse (1/64),dengan 8 dari 512 expert terarah aktif per…
  • Seri ini secara native memadukan attention linear dan menggantikan peluruhan learning rate…
  • Rilis ini mencakup checkpoint dari beberapa tahap pelatihan termasuk pra-pelatihan,pelatihan…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
蚂蚁 inclusionAI:HuggingFace 新模型
Kategori
Rilis Model
Skor AI
64
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: inclusionAI Ant Group Merilis Sumber Terbuka Model Dasar Bahasa Efisien Seri Ling-3.0. 11 Agustus 2026. https://new.nat6.net/id/news/cmt0aa8b416z0rodptcwaftq0/

Lihat semua →