Ant inclusionAI ouvre le modèle de base MoE à un billion de paramètres Ling-2.6-1T-base
Titre original:inclusionAI/Ling-2.6-1T-base
Résumé IA
Ling-2.6-1T-base est le modèle de base MoE à un billion de paramètres (environ 1T au total, 63B activés) open source d'Ant inclusionAI. Issu d'une mise à niveau de Ling-2.0-1T-base, il adopte une architecture d'attention linéaire mêlant Lightning Attention et MLA dans un ratio de 7:1, et a suivi un pré-entraînement par transfert, un pré-entraînement continu et un entraînement intermédiaire sur environ 9,6T de tokens, avec une fenêtre de contexte étendue par étapes de 4K à 256K. Il dépasse la génération précédente sur des benchmarks comme MMLU (86,82), SimpleQA et LongBenchv2 (43,54). Le modèle est réservé à la recherche (pré-entraînement continu, fine-tuning, distillation, etc.) et ne fournit pas directement de fonction de dialogue.
Points clés
- 6-1T-base est le modèle de base MoE à un billion de paramètres (environ 1T au total,63B activés)…
- Issu d'une mise à niveau de Ling-2.
- 0-1T-base,il adopte une architecture d'attention linéaire mêlant Lightning Attention et MLA dans…
- Il dépasse la génération précédente sur des benchmarks comme MMLU (86,82),SimpleQA et LongBenchv2…
- Le modèle est réservé à la recherche (pré-entraînement continu,fine-tuning,distillation,etc.
En bref
- Publié
- Mis à jour
- Catégorie
- Sorties de modèles
- Score IA
- 61
Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Ant inclusionAI ouvre le modèle de base MoE à un billion de paramètres Ling-2.6-1T-base. 2. juin 2026. https://new.nat6.net/fr/news/cmqg2a9rm02wlslsplna4jnm6/