Open source ng inclusionAI ng Ant ang Ling-3.0 series language foundation models
Orihinal na pamagat:inclusionAI/Ling-3.0-tiny-base
AI summary
Open source ng inclusionAI ng Ant ang Ling-3.0 series language foundation models, may tiny at flash na dalawang size at mga checkpoint ng pretraining, mid-training, merge (WSM) at iba pang yugto. Gumagamit ang series na ito ng hybrid linear attention at sparse MoE architecture, kabuuang 7.9B parameters, 1.3B parameters lamang ang aktibo bawat token (8 sa 128 routed experts ang aktibo).
Mahahalagang impormasyon
- Open source ng inclusionAI ng Ant ang Ling-3.
- 0 series language foundation models,may tiny at flash na dalawang size at mga checkpoint ng…
- Gumagamit ang series na ito ng hybrid linear attention at sparse MoE architecture,kabuuang 7.
- 9B parameters,1.
- 3B parameters lamang ang aktibo bawat token (8 sa 128 routed experts ang aktibo).
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 蚂蚁 inclusionAI:HuggingFace 新模型
- Kategorya
- Paglabas ng modelo
- AI na marka
- 65
用加权检查点合并替代学习率衰减,让基座模型更适合持续预训练,也为验证不同衰减曲线省去重复实验。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Open source ng inclusionAI ng Ant ang Ling-3.0 series language foundation models. 11 Agosto 2026. https://new.nat6.net/fil/news/cmt0aa8b416ywrodpq8czlstx/