Open source ng Ant inclusionAI ang trillion-parameter MoE base model na Ling-2.6-1T-base
Orihinal na pamagat:inclusionAI/Ling-2.6-1T-base
AI summary
Ang Ling-2.6-1T-base ay isang trillion-parameter MoE base model na open source ng Ant inclusionAI (kabuuang parameter na humigit-kumulang 1T, 63B ang aktibo). Ito ay na-upgrade mula sa Ling-2.0-1T-base, gumagamit ng linear attention architecture na pinagsasama ang Lightning Attention at MLA sa ratio na 7:1, at dumaan sa migration pre-training, continuous pre-training at mid-training na may humigit-kumulang 9.6T tokens; ang context window ay pinalawak nang paunti-unti mula 4K hanggang 256K. Nalampasan nito ang nakaraang henerasyon sa mga benchmark tulad ng MMLU (86.82), SimpleQA, LongBenchv2 (43.54). Ang modelo ay para sa pananaliksik lamang (continuous pre-training, fine-tuning, distillation, atbp.) at hindi direktang nagbibigay ng function ng pag-uusap.
Mahahalagang impormasyon
- Ang Ling-2.
- 6-1T-base ay isang trillion-parameter MoE base model na open source ng Ant inclusionAI (kabuuang…
- Ito ay na-upgrade mula sa Ling-2.
- 0-1T-base,gumagamit ng linear attention architecture na pinagsasama ang Lightning Attention at MLA…
- 6T tokens
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 蚂蚁 inclusionAI:HuggingFace 新模型
- Kategorya
- Paglabas ng modelo
- AI na marka
- 61
Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Open source ng Ant inclusionAI ang trillion-parameter MoE base model na Ling-2.6-1T-base. 2 Hunyo 2026. https://new.nat6.net/fil/news/cmqg2a9rm02wlslsplna4jnm6/