Open source ng inclusionAI ng Ant ang Ling-3.0 series efficient language foundation models
Orihinal na pamagat:inclusionAI/Ling-3.0-flash-base-30T
AI summary
Open source ng inclusionAI ng Ant ang Ling-3.0 series language foundation models, at inilabas ang mga checkpoint ng pretraining, mid-training at merge (WSM) at iba pang yugto. Gumagamit ang series na ito ng highly sparse (1/64) MoE architecture, 8 lamang sa 512 routed experts ang aktibo bawat token, 5.1B (Non-emb) lamang ang active parameters, kabuuang 124B parameters, at native na pinagsasama ang KDA at Gated MLA hybrid linear attention para mahusay na maproseso ang mahabang context.
Mahahalagang impormasyon
- Open source ng inclusionAI ng Ant ang Ling-3.
- 0 series language foundation models,at inilabas ang mga checkpoint ng pretraining,mid-training at…
- Gumagamit ang series na ito ng highly sparse (1/64) MoE architecture,8 lamang sa 512 routed…
- 1B (Non-emb) lamang ang active parameters,kabuuang 124B parameters,at native na pinagsasama ang…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 蚂蚁 inclusionAI:HuggingFace 新模型
- Kategorya
- Paglabas ng modelo
- AI na marka
- 68
把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Open source ng inclusionAI ng Ant ang Ling-3.0 series efficient language foundation models. 11 Agosto 2026. https://new.nat6.net/fil/news/cmt0aa8b416yzrodp2cnlw3wj/