Pelancaran Model

Ant inclusionAI sumber terbuka model asas MoE trilion parameter Ling-2.6-1T-base

Tajuk asal:inclusionAI/Ling-2.6-1T-base

Ringkasan AI

Ling-2.6-1T-base ialah model asas MoE trilion parameter sumber terbuka Ant inclusionAI (jumlah parameter kira-kira 1T, pengaktifan 63B). Ia dinaik taraf daripada Ling-2.0-1T-base, menggunakan seni bina perhatian linear yang menggabungkan Lightning Attention dan MLA pada nisbah 7:1, melalui pra-latihan pemindahan kira-kira 9.6T token, pra-latihan berterusan dan latihan pertengahan, tetingkap konteks diperluas secara berperingkat daripada 4K kepada 256K. Ia mengatasi generasi sebelumnya pada penanda aras MMLU (86.82), SimpleQA, LongBenchv2 (43.54) dan lain-lain. Model ini hanya untuk penyelidikan (pra-latihan berterusan, penalaan halus, penyulingan dan lain-lain), tidak menyediakan fungsi dialog secara langsung.

Maklumat penting

  • 6-1T-base ialah model asas MoE trilion parameter sumber terbuka Ant inclusionAI (jumlah parameter…
  • Ia dinaik taraf daripada Ling-2.
  • 0-1T-base,menggunakan seni bina perhatian linear yang menggabungkan Lightning Attention dan MLA…
  • 6T token,pra-latihan berterusan dan latihan pertengahan,tetingkap konteks diperluas secara…
  • Ia mengatasi generasi sebelumnya pada penanda aras MMLU (86.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
蚂蚁 inclusionAI:HuggingFace 新模型
Kategori
Pelancaran Model
Skor AI
61
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Ant inclusionAI sumber terbuka model asas MoE trilion parameter Ling-2.6-1T-base. 2 Jun 2026. https://new.nat6.net/ms/news/cmqg2a9rm02wlslsplna4jnm6/

Lihat Semua →