Pelancaran Model

inclusionAI Ant Group Sumber Terbuka Siri Model Asas Bahasa Cekap Ling-3.0

Tajuk asal:inclusionAI/Ling-3.0-tiny-base-30T

Ringkasan AI

inclusionAI Ant Group mengeluarkan secara sumber terbuka siri model asas bahasa cekap Ling-3.0, serta pusat pemeriksaan peringkat pra-latihan, latihan pertengahan dan penggabungan (WSM), menyokong pra-latihan lanjutan, penalaan halus dan penyelidikan. Ling-3.0-tiny-base menggunakan seni bina MoE jarang dengan 128 pakar penghala, hanya 1.3B parameter diaktifkan setiap token, jumlah parameter 7.9B, dan perhatian linear hibrid asli untuk memproses konteks panjang dengan cekap.

Maklumat penting

  • inclusionAI Ant Group mengeluarkan secara sumber terbuka siri model asas bahasa cekap Ling-3.
  • 0,serta pusat pemeriksaan peringkat pra-latihan,latihan pertengahan dan penggabungan…
  • 0-tiny-base menggunakan seni bina MoE jarang dengan 128 pakar penghala,hanya 1.
  • 3B parameter diaktifkan setiap token,jumlah parameter 7.
  • 9B,dan perhatian linear hibrid asli untuk memproses konteks panjang dengan cekap.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
蚂蚁 inclusionAI:HuggingFace 新模型
Kategori
Pelancaran Model
Skor AI
63
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: inclusionAI Ant Group Sumber Terbuka Siri Model Asas Bahasa Cekap Ling-3.0. 11 Ogos 2026. https://new.nat6.net/ms/news/cmt0aa8b416yxrodpvq5x791t/

Lihat Semua →