Modellveröffentlichungen

Ant inclusionAI veröffentlicht effiziente Sprachbasismodelle der Ling-3.0-Serie als Open Source

Originaltitel:inclusionAI/Ling-3.0-tiny-base-30T

KI-Zusammenfassung

Ant inclusionAI veröffentlicht effiziente Sprachbasismodelle der Ling-3.0-Serie als Open Source und stellt Checkpoints aus Pretraining, Midtraining und Merging (WSM) bereit, die kontinuierliches Pretraining, Fine-Tuning und Forschung unterstützen. Ling-3.0-tiny-base nutzt eine sparse MoE-Architektur mit 128 Routing-Experten, aktiviert pro Token nur 1,3B Parameter bei 7,9B Gesamtparametern und verwendet native hybride lineare Attention für die effiziente Verarbeitung langer Kontexte.

Kernpunkte

  • Ant inclusionAI veröffentlicht effiziente Sprachbasismodelle der Ling-3.
  • 0-Serie als Open Source und stellt Checkpoints aus Pretraining,Midtraining und Merging (WSM)…
  • 0-tiny-base nutzt eine sparse MoE-Architektur mit 128 Routing-Experten,aktiviert pro Token nur…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
蚂蚁 inclusionAI:HuggingFace 新模型
Kategorie
Modellveröffentlichungen
KI-Bewertung
63
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Ant inclusionAI veröffentlicht effiziente Sprachbasismodelle der Ling-3.0-Serie als Open Source. 11. August 2026. https://new.nat6.net/de/news/cmt0aa8b416yxrodpvq5x791t/

Alle ansehen →