Ant inclusionAI veröffentlicht effiziente Open-Source-Sprachbasismodelle der Ling-3.0-Serie
Originaltitel:inclusionAI/Ling-3.0-flash-base-30T
KI-Zusammenfassung
Ant inclusionAI hat die Sprachbasismodelle der Ling-3.0-Serie als Open Source veröffentlicht und Checkpoints aus mehreren Trainingsphasen wie Pre-Training, Mid-Training und Merging (WSM) bereitgestellt. Die Serie nutzt eine hochgradig sparse MoE-Architektur (1/64), bei der pro Token nur 8 von 512 Routing-Experten aktiviert werden; die aktivierten Parameter betragen nur 5,1B (Non-emb) bei insgesamt 124B Parametern. Zudem kombiniert sie nativ KDA und Gated MLA mit hybrider linearer Attention, um lange Kontexte effizient zu verarbeiten.
Kernpunkte
- Ant inclusionAI hat die Sprachbasismodelle der Ling-3.
- 0-Serie als Open Source veröffentlicht und Checkpoints aus mehreren Trainingsphasen wie…
- Die Serie nutzt eine hochgradig sparse MoE-Architektur (1/64),bei der pro Token nur 8 von 512…
- die aktivierten Parameter betragen nur 5,1B (Non-emb) bei insgesamt 124B Parametern.
- Zudem kombiniert sie nativ KDA und Gated MLA mit hybrider linearer Attention,um lange Kontexte…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Modellveröffentlichungen
- KI-Bewertung
- 68
把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Ant inclusionAI veröffentlicht effiziente Open-Source-Sprachbasismodelle der Ling-3.0-Serie. 11. August 2026. https://new.nat6.net/de/news/cmt0aa8b416yzrodp2cnlw3wj/