Ant inclusionAI veröffentlicht effiziente Open-Source-Sprachbasismodelle der Ling-3.0-Serie
Originaltitel:inclusionAI/Ling-3.0-flash-base-midtrain
KI-Zusammenfassung
Ant inclusionAI hat die Sprachbasismodelle der Ling-3.0-Serie als Open Source veröffentlicht. Sie nutzen eine hochgradig sparse MoE-Architektur (1/64), bei der pro Token nur 8 von 512 Routing-Experten aktiviert werden; die Gesamtparameterzahl beträgt 124B, die aktivierten Parameter nur 5,1B. Die Serie integriert native lineare Attention und ersetzt die traditionelle Lernraten-Dekay durch gewichtete Checkpoint-Merges. Die Veröffentlichung umfasst Checkpoints aus mehreren Trainingsphasen wie Pre-Training, Mid-Training und Merging (WSM), unterstützt Continued Pre-Training und Fine-Tuning und steht unter der MIT-Lizenz.
Kernpunkte
- Ant inclusionAI hat die Sprachbasismodelle der Ling-3.
- 0-Serie als Open Source veröffentlicht.
- Sie nutzen eine hochgradig sparse MoE-Architektur (1/64),bei der pro Token nur 8 von 512…
- die Gesamtparameterzahl beträgt 124B,die aktivierten Parameter nur 5,1B.
- Die Serie integriert native lineare Attention und ersetzt die traditionelle Lernraten-Dekay durch…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Modellveröffentlichungen
- KI-Bewertung
- 64
把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Ant inclusionAI veröffentlicht effiziente Open-Source-Sprachbasismodelle der Ling-3.0-Serie. 11. August 2026. https://new.nat6.net/de/news/cmt0aa8b416z0rodptcwaftq0/