Paglabas ng modelo

Open source ng Ant inclusionAI ang trillion-parameter MoE base model na Ling-2.6-1T-base

Orihinal na pamagat:inclusionAI/Ling-2.6-1T-base

AI summary

Ang Ling-2.6-1T-base ay isang trillion-parameter MoE base model na open source ng Ant inclusionAI (kabuuang parameter na humigit-kumulang 1T, 63B ang aktibo). Ito ay na-upgrade mula sa Ling-2.0-1T-base, gumagamit ng linear attention architecture na pinagsasama ang Lightning Attention at MLA sa ratio na 7:1, at dumaan sa migration pre-training, continuous pre-training at mid-training na may humigit-kumulang 9.6T tokens; ang context window ay pinalawak nang paunti-unti mula 4K hanggang 256K. Nalampasan nito ang nakaraang henerasyon sa mga benchmark tulad ng MMLU (86.82), SimpleQA, LongBenchv2 (43.54). Ang modelo ay para sa pananaliksik lamang (continuous pre-training, fine-tuning, distillation, atbp.) at hindi direktang nagbibigay ng function ng pag-uusap.

Mahahalagang impormasyon

  • Ang Ling-2.
  • 6-1T-base ay isang trillion-parameter MoE base model na open source ng Ant inclusionAI (kabuuang…
  • Ito ay na-upgrade mula sa Ling-2.
  • 0-1T-base,gumagamit ng linear attention architecture na pinagsasama ang Lightning Attention at MLA…
  • 6T tokens

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
蚂蚁 inclusionAI:HuggingFace 新模型
Kategorya
Paglabas ng modelo
AI na marka
61
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Open source ng Ant inclusionAI ang trillion-parameter MoE base model na Ling-2.6-1T-base. 2 Hunyo 2026. https://new.nat6.net/fil/news/cmqg2a9rm02wlslsplna4jnm6/

Tingnan lahat →