Sorties de modèles

Ant inclusionAI ouvre le modèle de base MoE à un billion de paramètres Ling-2.6-1T-base

Titre original:inclusionAI/Ling-2.6-1T-base

Résumé IA

Ling-2.6-1T-base est le modèle de base MoE à un billion de paramètres (environ 1T au total, 63B activés) open source d'Ant inclusionAI. Issu d'une mise à niveau de Ling-2.0-1T-base, il adopte une architecture d'attention linéaire mêlant Lightning Attention et MLA dans un ratio de 7:1, et a suivi un pré-entraînement par transfert, un pré-entraînement continu et un entraînement intermédiaire sur environ 9,6T de tokens, avec une fenêtre de contexte étendue par étapes de 4K à 256K. Il dépasse la génération précédente sur des benchmarks comme MMLU (86,82), SimpleQA et LongBenchv2 (43,54). Le modèle est réservé à la recherche (pré-entraînement continu, fine-tuning, distillation, etc.) et ne fournit pas directement de fonction de dialogue.

Points clés

  • 6-1T-base est le modèle de base MoE à un billion de paramètres (environ 1T au total,63B activés)…
  • Issu d'une mise à niveau de Ling-2.
  • 0-1T-base,il adopte une architecture d'attention linéaire mêlant Lightning Attention et MLA dans…
  • Il dépasse la génération précédente sur des benchmarks comme MMLU (86,82),SimpleQA et LongBenchv2…
  • Le modèle est réservé à la recherche (pré-entraînement continu,fine-tuning,distillation,etc.

En bref

Publié
Mis à jour
Source
蚂蚁 inclusionAI:HuggingFace 新模型
Catégorie
Sorties de modèles
Score IA
61
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Ant inclusionAI ouvre le modèle de base MoE à un billion de paramètres Ling-2.6-1T-base. 2. juin 2026. https://new.nat6.net/fr/news/cmqg2a9rm02wlslsplna4jnm6/

Tout voir →