inclusionAI Ant Merilis Model Basis MoE Triliunan Parameter Ling-2.6-1T-base sebagai Sumber Terbuka
Judul asli:inclusionAI/Ling-2.6-1T-base
Ringkasan AI
Ling-2.6-1T-base adalah model basis MoE triliunan parameter (total sekitar 1T, aktivasi 63B) yang dirilis inclusionAI Ant sebagai sumber terbuka. Model ini merupakan peningkatan dari Ling-2.0-1T-base dan menggunakan arsitektur linear attention yang mencampur Lightning Attention dan MLA dengan rasio 7:1, melalui pra-pelatihan transfer sekitar 9,6T token, pra-pelatihan berkelanjutan, dan pelatihan menengah; jendela konteks diperluas bertahap dari 4K hingga 256K. Model ini melampaui generasi sebelumnya pada tolok ukur seperti MMLU (86,82), SimpleQA, dan LongBenchv2 (43,54). Model hanya untuk penelitian (pra-pelatihan lanjutan, fine-tuning, distilasi, dan sebagainya) dan tidak menyediakan fungsi percakapan secara langsung.
Poin utama
- 6-1T-base adalah model basis MoE triliunan parameter (total sekitar 1T,aktivasi 63B) yang dirilis…
- Model ini merupakan peningkatan dari Ling-2.
- 0-1T-base dan menggunakan arsitektur linear attention yang mencampur Lightning Attention dan MLA…
- jendela konteks diperluas bertahap dari 4K hingga 256K.
- Model ini melampaui generasi sebelumnya pada tolok ukur seperti MMLU (86,82),SimpleQA,dan…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Rilis Model
- Skor AI
- 61
Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: inclusionAI Ant Merilis Model Basis MoE Triliunan Parameter Ling-2.6-1T-base sebagai Sumber Terbuka. 2 Juni 2026. https://new.nat6.net/id/news/cmqg2a9rm02wlslsplna4jnm6/