Rilis Model

inclusionAI Ant Merilis Model Basis MoE Triliunan Parameter Ling-2.6-1T-base sebagai Sumber Terbuka

Judul asli:inclusionAI/Ling-2.6-1T-base

Ringkasan AI

Ling-2.6-1T-base adalah model basis MoE triliunan parameter (total sekitar 1T, aktivasi 63B) yang dirilis inclusionAI Ant sebagai sumber terbuka. Model ini merupakan peningkatan dari Ling-2.0-1T-base dan menggunakan arsitektur linear attention yang mencampur Lightning Attention dan MLA dengan rasio 7:1, melalui pra-pelatihan transfer sekitar 9,6T token, pra-pelatihan berkelanjutan, dan pelatihan menengah; jendela konteks diperluas bertahap dari 4K hingga 256K. Model ini melampaui generasi sebelumnya pada tolok ukur seperti MMLU (86,82), SimpleQA, dan LongBenchv2 (43,54). Model hanya untuk penelitian (pra-pelatihan lanjutan, fine-tuning, distilasi, dan sebagainya) dan tidak menyediakan fungsi percakapan secara langsung.

Poin utama

  • 6-1T-base adalah model basis MoE triliunan parameter (total sekitar 1T,aktivasi 63B) yang dirilis…
  • Model ini merupakan peningkatan dari Ling-2.
  • 0-1T-base dan menggunakan arsitektur linear attention yang mencampur Lightning Attention dan MLA…
  • jendela konteks diperluas bertahap dari 4K hingga 256K.
  • Model ini melampaui generasi sebelumnya pada tolok ukur seperti MMLU (86,82),SimpleQA,dan…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
蚂蚁 inclusionAI:HuggingFace 新模型
Kategori
Rilis Model
Skor AI
61
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: inclusionAI Ant Merilis Model Basis MoE Triliunan Parameter Ling-2.6-1T-base sebagai Sumber Terbuka. 2 Juni 2026. https://new.nat6.net/id/news/cmqg2a9rm02wlslsplna4jnm6/

Lihat semua →