Modellveröffentlichungen

Ant inclusionAI veröffentlicht effiziente Open-Source-Sprachbasismodelle der Ling-3.0-Serie

Originaltitel:inclusionAI/Ling-3.0-flash-base-midtrain

KI-Zusammenfassung

Ant inclusionAI hat die Sprachbasismodelle der Ling-3.0-Serie als Open Source veröffentlicht. Sie nutzen eine hochgradig sparse MoE-Architektur (1/64), bei der pro Token nur 8 von 512 Routing-Experten aktiviert werden; die Gesamtparameterzahl beträgt 124B, die aktivierten Parameter nur 5,1B. Die Serie integriert native lineare Attention und ersetzt die traditionelle Lernraten-Dekay durch gewichtete Checkpoint-Merges. Die Veröffentlichung umfasst Checkpoints aus mehreren Trainingsphasen wie Pre-Training, Mid-Training und Merging (WSM), unterstützt Continued Pre-Training und Fine-Tuning und steht unter der MIT-Lizenz.

Kernpunkte

  • Ant inclusionAI hat die Sprachbasismodelle der Ling-3.
  • 0-Serie als Open Source veröffentlicht.
  • Sie nutzen eine hochgradig sparse MoE-Architektur (1/64),bei der pro Token nur 8 von 512…
  • die Gesamtparameterzahl beträgt 124B,die aktivierten Parameter nur 5,1B.
  • Die Serie integriert native lineare Attention und ersetzt die traditionelle Lernraten-Dekay durch…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
蚂蚁 inclusionAI:HuggingFace 新模型
Kategorie
Modellveröffentlichungen
KI-Bewertung
64
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Ant inclusionAI veröffentlicht effiziente Open-Source-Sprachbasismodelle der Ling-3.0-Serie. 11. August 2026. https://new.nat6.net/de/news/cmt0aa8b416z0rodptcwaftq0/

Alle ansehen →