Paglabas ng modelo

Open source ng inclusionAI ng Ant ang Ling-3.0 series efficient language base models

Orihinal na pamagat:inclusionAI/Ling-3.0-flash-base-midtrain

AI summary

Open source ng inclusionAI ng Ant ang Ling-3.0 series language base models, gumagamit ng highly sparse (1/64) MoE architecture, 8 lamang sa 512 routed experts ang aktibo bawat token, kabuuang 124B parameters, 5.1B lamang ang active parameters. Native na pinagsasama ng series na ito ang linear attention, at ginagamit ang weighted checkpoint merging bilang kapalit ng tradisyonal na learning rate decay. Kasama sa release na ito ang mga checkpoint ng pretraining, mid-training at merge (WSM) at iba pang yugto ng pagsasanay, sumusuporta sa continued pretraining at fine-tuning, at gumagamit ng MIT license ang modelo.

Mahahalagang impormasyon

  • Open source ng inclusionAI ng Ant ang Ling-3.
  • 0 series language base models,gumagamit ng highly sparse (1/64) MoE architecture,8 lamang sa 512…
  • 1B lamang ang active parameters.
  • Native na pinagsasama ng series na ito ang linear attention,at ginagamit ang weighted checkpoint…
  • Kasama sa release na ito ang mga checkpoint ng pretraining,mid-training at merge (WSM) at iba pang…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
蚂蚁 inclusionAI:HuggingFace 新模型
Kategorya
Paglabas ng modelo
AI na marka
64
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Open source ng inclusionAI ng Ant ang Ling-3.0 series efficient language base models. 11 Agosto 2026. https://new.nat6.net/fil/news/cmt0aa8b416z0rodptcwaftq0/

Tingnan lahat →