inclusionAI Ant Group Sumber Terbuka Siri Model Asas Bahasa Cekap Ling-3.0
Tajuk asal:inclusionAI/Ling-3.0-flash-base-30T
Ringkasan AI
inclusionAI Ant Group mengeluarkan secara sumber terbuka siri model asas bahasa Ling-3.0, serta pusat pemeriksaan pelbagai peringkat termasuk pra-latihan, latihan pertengahan dan penggabungan (WSM). Siri ini menggunakan seni bina MoE sangat jarang (1/64), daripada 512 pakar penghala setiap token hanya mengaktifkan 8, parameter diaktifkan hanya 5.1B (Non-emb), jumlah parameter 124B, dan menggabungkan secara asli perhatian linear hibrid KDA dan Gated MLA untuk memproses konteks panjang dengan cekap.
Maklumat penting
- inclusionAI Ant Group mengeluarkan secara sumber terbuka siri model asas bahasa Ling-3.
- 0,serta pusat pemeriksaan pelbagai peringkat termasuk pra-latihan,latihan pertengahan dan…
- Siri ini menggunakan seni bina MoE sangat jarang (1/64),daripada 512 pakar penghala setiap token…
- 1B (Non-emb),jumlah parameter 124B,dan menggabungkan secara asli perhatian linear hibrid KDA dan…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Pelancaran Model
- Skor AI
- 68
把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: inclusionAI Ant Group Sumber Terbuka Siri Model Asas Bahasa Cekap Ling-3.0. 11 Ogos 2026. https://new.nat6.net/ms/news/cmt0aa8b416yzrodp2cnlw3wj/