Ant inclusionAI publica en código abierto el modelo base MoE de billón de parámetros Ling-2.6-1T-base
Título original:inclusionAI/Ling-2.6-1T-base
Resumen de IA
Ling-2.6-1T-base es un modelo base MoE de billón de parámetros (unos 1T de parámetros totales y 63B activos) publicado en código abierto por Ant inclusionAI. Es una evolución de Ling-2.0-1T-base y adopta una arquitectura de atención lineal que combina Lightning Attention y MLA en una proporción de 7:1; tras un preentrenamiento de transferencia de unos 9,6T de tokens, un preentrenamiento continuo y un entrenamiento intermedio, su ventana de contexto se amplió por fases de 4K a 256K. Supera a la generación anterior en benchmarks como MMLU (86,82), SimpleQA y LongBenchv2 (43,54). El modelo está destinado únicamente a investigación (preentrenamiento continuo, ajuste fino, destilación, etc.) y no ofrece directamente funciones de conversación.
Puntos clave
- 6-1T-base es un modelo base MoE de billón de parámetros (unos 1T de parámetros totales y 63B…
- Es una evolución de Ling-2.
- 0-1T-base y adopta una arquitectura de atención lineal que combina Lightning Attention y MLA en…
- tras un preentrenamiento de transferencia de unos 9,6T de tokens,un preentrenamiento continuo y un…
- Supera a la generación anterior en benchmarks como MMLU (86,82),SimpleQA y LongBenchv2 (43,54).
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Lanzamientos de modelos
- Puntuación IA
- 61
Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Ant inclusionAI publica en código abierto el modelo base MoE de billón de parámetros Ling-2.6-1T-base. 2. junio 2026. https://new.nat6.net/es/news/cmqg2a9rm02wlslsplna4jnm6/