Modellveröffentlichungen

Ant inclusionAI veröffentlicht effiziente Open-Source-Sprachbasismodelle der Ling-3.0-Serie

Originaltitel:inclusionAI/Ling-3.0-flash-base-30T

KI-Zusammenfassung

Ant inclusionAI hat die Sprachbasismodelle der Ling-3.0-Serie als Open Source veröffentlicht und Checkpoints aus mehreren Trainingsphasen wie Pre-Training, Mid-Training und Merging (WSM) bereitgestellt. Die Serie nutzt eine hochgradig sparse MoE-Architektur (1/64), bei der pro Token nur 8 von 512 Routing-Experten aktiviert werden; die aktivierten Parameter betragen nur 5,1B (Non-emb) bei insgesamt 124B Parametern. Zudem kombiniert sie nativ KDA und Gated MLA mit hybrider linearer Attention, um lange Kontexte effizient zu verarbeiten.

Kernpunkte

  • Ant inclusionAI hat die Sprachbasismodelle der Ling-3.
  • 0-Serie als Open Source veröffentlicht und Checkpoints aus mehreren Trainingsphasen wie…
  • Die Serie nutzt eine hochgradig sparse MoE-Architektur (1/64),bei der pro Token nur 8 von 512…
  • die aktivierten Parameter betragen nur 5,1B (Non-emb) bei insgesamt 124B Parametern.
  • Zudem kombiniert sie nativ KDA und Gated MLA mit hybrider linearer Attention,um lange Kontexte…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
蚂蚁 inclusionAI:HuggingFace 新模型
Kategorie
Modellveröffentlichungen
KI-Bewertung
68
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Ant inclusionAI veröffentlicht effiziente Open-Source-Sprachbasismodelle der Ling-3.0-Serie. 11. August 2026. https://new.nat6.net/de/news/cmt0aa8b416yzrodp2cnlw3wj/

Alle ansehen →