Open source ng inclusionAI ng Ant ang Ling-3.0 series efficient language foundation models
Orihinal na pamagat:inclusionAI/Ling-3.0-tiny-base-30T
AI summary
Open source ng inclusionAI ng Ant ang Ling-3.0 series efficient language foundation models, at inilabas ang mga checkpoint ng pretraining, mid-training at merge (WSM) at iba pang yugto, sumusuporta sa continued pretraining, fine-tuning at research. Gumagamit ang Ling-3.0-tiny-base ng sparse MoE architecture, may 128 routed experts, 1.3B parameters lamang ang aktibo bawat token, kabuuang 7.9B parameters, at native na hybrid linear attention para mahusay na maproseso ang mahabang context.
Mahahalagang impormasyon
- Open source ng inclusionAI ng Ant ang Ling-3.
- 0 series efficient language foundation models,at inilabas ang mga checkpoint ng…
- Gumagamit ang Ling-3.
- 0-tiny-base ng sparse MoE architecture,may 128 routed experts,1.
- 3B parameters lamang ang aktibo bawat token,kabuuang 7.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 蚂蚁 inclusionAI:HuggingFace 新模型
- Kategorya
- Paglabas ng modelo
- AI na marka
- 63
它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Open source ng inclusionAI ng Ant ang Ling-3.0 series efficient language foundation models. 11 Agosto 2026. https://new.nat6.net/fil/news/cmt0aa8b416yxrodpvq5x791t/