Ant inclusionAI veröffentlicht Ling-3.0-Serie von Sprachbasismodellen als Open Source
Originaltitel:inclusionAI/Ling-3.0-tiny-base
KI-Zusammenfassung
Ant inclusionAI veröffentlicht die Ling-3.0-Serie von Sprachbasismodellen als Open Source, mit den Größen tiny und flash sowie Checkpoints aus Pretraining, Midtraining und Merging (WSM). Die Serie nutzt eine hybride lineare Attention- und sparse MoE-Architektur mit 7,9B Gesamtparametern und aktiviert pro Token nur 1,3B Parameter (8 von 128 Routing-Experten).
Kernpunkte
- Ant inclusionAI veröffentlicht die Ling-3.
- 0-Serie von Sprachbasismodellen als Open Source,mit den Größen tiny und flash sowie Checkpoints…
- Die Serie nutzt eine hybride lineare Attention- und sparse MoE-Architektur mit 7,9B…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Modellveröffentlichungen
- KI-Bewertung
- 65
用加权检查点合并替代学习率衰减,让基座模型更适合持续预训练,也为验证不同衰减曲线省去重复实验。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Ant inclusionAI veröffentlicht Ling-3.0-Serie von Sprachbasismodellen als Open Source. 11. August 2026. https://new.nat6.net/de/news/cmt0aa8b416ywrodpq8czlstx/