inclusionAI Ant Group Sumber Terbuka Siri Model Asas Bahasa Cekap Ling-3.0
Tajuk asal:inclusionAI/Ling-3.0-tiny-base-30T
Ringkasan AI
inclusionAI Ant Group mengeluarkan secara sumber terbuka siri model asas bahasa cekap Ling-3.0, serta pusat pemeriksaan peringkat pra-latihan, latihan pertengahan dan penggabungan (WSM), menyokong pra-latihan lanjutan, penalaan halus dan penyelidikan. Ling-3.0-tiny-base menggunakan seni bina MoE jarang dengan 128 pakar penghala, hanya 1.3B parameter diaktifkan setiap token, jumlah parameter 7.9B, dan perhatian linear hibrid asli untuk memproses konteks panjang dengan cekap.
Maklumat penting
- inclusionAI Ant Group mengeluarkan secara sumber terbuka siri model asas bahasa cekap Ling-3.
- 0,serta pusat pemeriksaan peringkat pra-latihan,latihan pertengahan dan penggabungan…
- 0-tiny-base menggunakan seni bina MoE jarang dengan 128 pakar penghala,hanya 1.
- 3B parameter diaktifkan setiap token,jumlah parameter 7.
- 9B,dan perhatian linear hibrid asli untuk memproses konteks panjang dengan cekap.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Pelancaran Model
- Skor AI
- 63
它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: inclusionAI Ant Group Sumber Terbuka Siri Model Asas Bahasa Cekap Ling-3.0. 11 Ogos 2026. https://new.nat6.net/ms/news/cmt0aa8b416yxrodpvq5x791t/