Ant inclusionAI veröffentlicht effiziente Sprachbasismodelle der Ling-3.0-Serie als Open Source
Originaltitel:inclusionAI/Ling-3.0-tiny-base-30T
KI-Zusammenfassung
Ant inclusionAI veröffentlicht effiziente Sprachbasismodelle der Ling-3.0-Serie als Open Source und stellt Checkpoints aus Pretraining, Midtraining und Merging (WSM) bereit, die kontinuierliches Pretraining, Fine-Tuning und Forschung unterstützen. Ling-3.0-tiny-base nutzt eine sparse MoE-Architektur mit 128 Routing-Experten, aktiviert pro Token nur 1,3B Parameter bei 7,9B Gesamtparametern und verwendet native hybride lineare Attention für die effiziente Verarbeitung langer Kontexte.
Kernpunkte
- Ant inclusionAI veröffentlicht effiziente Sprachbasismodelle der Ling-3.
- 0-Serie als Open Source und stellt Checkpoints aus Pretraining,Midtraining und Merging (WSM)…
- 0-tiny-base nutzt eine sparse MoE-Architektur mit 128 Routing-Experten,aktiviert pro Token nur…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Modellveröffentlichungen
- KI-Bewertung
- 63
它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Ant inclusionAI veröffentlicht effiziente Sprachbasismodelle der Ling-3.0-Serie als Open Source. 11. August 2026. https://new.nat6.net/de/news/cmt0aa8b416yxrodpvq5x791t/