Paglabas ng modelo

Open source ng inclusionAI ng Ant ang Ling-3.0 series efficient language foundation models

Orihinal na pamagat:inclusionAI/Ling-3.0-flash-base-30T

AI summary

Open source ng inclusionAI ng Ant ang Ling-3.0 series language foundation models, at inilabas ang mga checkpoint ng pretraining, mid-training at merge (WSM) at iba pang yugto. Gumagamit ang series na ito ng highly sparse (1/64) MoE architecture, 8 lamang sa 512 routed experts ang aktibo bawat token, 5.1B (Non-emb) lamang ang active parameters, kabuuang 124B parameters, at native na pinagsasama ang KDA at Gated MLA hybrid linear attention para mahusay na maproseso ang mahabang context.

Mahahalagang impormasyon

  • Open source ng inclusionAI ng Ant ang Ling-3.
  • 0 series language foundation models,at inilabas ang mga checkpoint ng pretraining,mid-training at…
  • Gumagamit ang series na ito ng highly sparse (1/64) MoE architecture,8 lamang sa 512 routed…
  • 1B (Non-emb) lamang ang active parameters,kabuuang 124B parameters,at native na pinagsasama ang…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
蚂蚁 inclusionAI:HuggingFace 新模型
Kategorya
Paglabas ng modelo
AI na marka
68
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Open source ng inclusionAI ng Ant ang Ling-3.0 series efficient language foundation models. 11 Agosto 2026. https://new.nat6.net/fil/news/cmt0aa8b416yzrodp2cnlw3wj/

Tingnan lahat →