Pelancaran Model

inclusionAI Ant Group Sumber Terbuka Siri Model Asas Bahasa Cekap Ling-3.0

Tajuk asal:inclusionAI/Ling-3.0-flash-base-30T

Ringkasan AI

inclusionAI Ant Group mengeluarkan secara sumber terbuka siri model asas bahasa Ling-3.0, serta pusat pemeriksaan pelbagai peringkat termasuk pra-latihan, latihan pertengahan dan penggabungan (WSM). Siri ini menggunakan seni bina MoE sangat jarang (1/64), daripada 512 pakar penghala setiap token hanya mengaktifkan 8, parameter diaktifkan hanya 5.1B (Non-emb), jumlah parameter 124B, dan menggabungkan secara asli perhatian linear hibrid KDA dan Gated MLA untuk memproses konteks panjang dengan cekap.

Maklumat penting

  • inclusionAI Ant Group mengeluarkan secara sumber terbuka siri model asas bahasa Ling-3.
  • 0,serta pusat pemeriksaan pelbagai peringkat termasuk pra-latihan,latihan pertengahan dan…
  • Siri ini menggunakan seni bina MoE sangat jarang (1/64),daripada 512 pakar penghala setiap token…
  • 1B (Non-emb),jumlah parameter 124B,dan menggabungkan secara asli perhatian linear hibrid KDA dan…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
蚂蚁 inclusionAI:HuggingFace 新模型
Kategori
Pelancaran Model
Skor AI
68
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: inclusionAI Ant Group Sumber Terbuka Siri Model Asas Bahasa Cekap Ling-3.0. 11 Ogos 2026. https://new.nat6.net/ms/news/cmt0aa8b416yzrodp2cnlw3wj/

Lihat Semua →