Ant inclusionAI sumber terbuka model asas MoE trilion parameter Ling-2.6-1T-base
Tajuk asal:inclusionAI/Ling-2.6-1T-base
Ringkasan AI
Ling-2.6-1T-base ialah model asas MoE trilion parameter sumber terbuka Ant inclusionAI (jumlah parameter kira-kira 1T, pengaktifan 63B). Ia dinaik taraf daripada Ling-2.0-1T-base, menggunakan seni bina perhatian linear yang menggabungkan Lightning Attention dan MLA pada nisbah 7:1, melalui pra-latihan pemindahan kira-kira 9.6T token, pra-latihan berterusan dan latihan pertengahan, tetingkap konteks diperluas secara berperingkat daripada 4K kepada 256K. Ia mengatasi generasi sebelumnya pada penanda aras MMLU (86.82), SimpleQA, LongBenchv2 (43.54) dan lain-lain. Model ini hanya untuk penyelidikan (pra-latihan berterusan, penalaan halus, penyulingan dan lain-lain), tidak menyediakan fungsi dialog secara langsung.
Maklumat penting
- 6-1T-base ialah model asas MoE trilion parameter sumber terbuka Ant inclusionAI (jumlah parameter…
- Ia dinaik taraf daripada Ling-2.
- 0-1T-base,menggunakan seni bina perhatian linear yang menggabungkan Lightning Attention dan MLA…
- 6T token,pra-latihan berterusan dan latihan pertengahan,tetingkap konteks diperluas secara…
- Ia mengatasi generasi sebelumnya pada penanda aras MMLU (86.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Pelancaran Model
- Skor AI
- 61
Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Ant inclusionAI sumber terbuka model asas MoE trilion parameter Ling-2.6-1T-base. 2 Jun 2026. https://new.nat6.net/ms/news/cmqg2a9rm02wlslsplna4jnm6/