Rilis Model

inclusionAI Ant Group Merilis Sumber Terbuka Model Bahasa Dasar Efisien Seri Ling-3.0

Judul asli:inclusionAI/Ling-3.0-tiny-base-30T

Ringkasan AI

inclusionAI Ant Group merilis sumber terbuka model bahasa dasar efisien seri Ling-3.0, serta menerbitkan checkpoint tahap pra-pelatihan, pelatihan menengah, dan penggabungan (WSM), yang mendukung pra-pelatihan lanjutan, fine-tuning, dan riset. Ling-3.0-tiny-base menggunakan arsitektur MoE sparse dengan 128 expert terarah, hanya 1,3B parameter aktif per token, total parameter 7,9B, serta attention linear hibrida native untuk menangani konteks panjang secara efisien.

Poin utama

  • inclusionAI Ant Group merilis sumber terbuka model bahasa dasar efisien seri Ling-3.
  • 0,serta menerbitkan checkpoint tahap pra-pelatihan,pelatihan menengah,dan penggabungan (WSM),yang…
  • 0-tiny-base menggunakan arsitektur MoE sparse dengan 128 expert terarah,hanya 1,3B parameter aktif…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
蚂蚁 inclusionAI:HuggingFace 新模型
Kategori
Rilis Model
Skor AI
63
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: inclusionAI Ant Group Merilis Sumber Terbuka Model Bahasa Dasar Efisien Seri Ling-3.0. 11 Agustus 2026. https://new.nat6.net/id/news/cmt0aa8b416yxrodpvq5x791t/

Lihat semua →