Pelancaran Model

inclusionAI Ant Group Sumber Terbuka Siri Model Asas Bahasa Ling-3.0

Tajuk asal:inclusionAI/Ling-3.0-tiny-base

Ringkasan AI

inclusionAI Ant Group mengeluarkan secara sumber terbuka siri model asas bahasa Ling-3.0, termasuk dua saiz tiny dan flash serta pusat pemeriksaan peringkat pra-latihan, latihan pertengahan dan penggabungan (WSM). Siri ini menggunakan seni bina perhatian linear hibrid dan MoE jarang, dengan jumlah parameter 7.9B, hanya 1.3B parameter diaktifkan setiap token (8 daripada 128 pakar penghala diaktifkan).

Maklumat penting

  • inclusionAI Ant Group mengeluarkan secara sumber terbuka siri model asas bahasa Ling-3.
  • 0,termasuk dua saiz tiny dan flash serta pusat pemeriksaan peringkat pra-latihan,latihan…
  • Siri ini menggunakan seni bina perhatian linear hibrid dan MoE jarang,dengan jumlah parameter 7.
  • 9B,hanya 1.
  • 3B parameter diaktifkan setiap token (8 daripada 128 pakar penghala diaktifkan).

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
蚂蚁 inclusionAI:HuggingFace 新模型
Kategori
Pelancaran Model
Skor AI
65
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

用加权检查点合并替代学习率衰减,让基座模型更适合持续预训练,也为验证不同衰减曲线省去重复实验。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: inclusionAI Ant Group Sumber Terbuka Siri Model Asas Bahasa Ling-3.0. 11 Ogos 2026. https://new.nat6.net/ms/news/cmt0aa8b416ywrodpq8czlstx/

Lihat Semua →