Ant inclusionAI open source la série de modèles de langage fondamentaux Ling-3.0
Titre original:inclusionAI/Ling-3.0-tiny-base
Résumé IA
Ant inclusionAI open source la série de modèles de langage fondamentaux Ling-3.0, avec deux tailles, tiny et flash, et des checkpoints aux étapes de pré-entraînement, de mi-entraînement et de fusion (WSM). La série adopte une architecture d'attention linéaire hybride et de MoE clairsemé, avec 7,9B de paramètres au total et seulement 1,3B activés par token (8 experts routés sur 128).
Points clés
- Ant inclusionAI open source la série de modèles de langage fondamentaux Ling-3.
- 0,avec deux tailles,tiny et flash,et des checkpoints aux étapes de pré-entraînement,de…
- La série adopte une architecture d'attention linéaire hybride et de MoE clairsemé,avec 7,9B de…
En bref
- Publié
- Mis à jour
- Catégorie
- Sorties de modèles
- Score IA
- 65
用加权检查点合并替代学习率衰减,让基座模型更适合持续预训练,也为验证不同衰减曲线省去重复实验。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Ant inclusionAI open source la série de modèles de langage fondamentaux Ling-3.0. 11. août 2026. https://new.nat6.net/fr/news/cmt0aa8b416ywrodpq8czlstx/