Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje eficientes
Título original:inclusionAI/Ling-3.0-flash-base-midtrain
Resumen de IA
Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje, que emplea una arquitectura MoE altamente dispersa (1/64): de 512 expertos enrutados, cada token activa solo 8, con 124B parámetros totales y solo 5.1B activos. La serie integra de forma nativa atención lineal y sustituye la atenuación tradicional de la tasa de aprendizaje por la fusión ponderada de puntos de control. El lanzamiento incluye puntos de control de varias etapas de entrenamiento (preentrenamiento, entrenamiento intermedio y fusión WSM), admite preentrenamiento continuo y ajuste fino, y se distribuye bajo licencia MIT.
Puntos clave
- Ant inclusionAI abre el código de la serie Ling-3.
- 0 de modelos base de lenguaje,que emplea una arquitectura MoE altamente dispersa (1/64): de 512…
- 1B activos.
- La serie integra de forma nativa atención lineal y sustituye la atenuación tradicional de la tasa…
- El lanzamiento incluye puntos de control de varias etapas de entrenamiento…
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Lanzamientos de modelos
- Puntuación IA
- 64
把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje eficientes. 11. agosto 2026. https://new.nat6.net/es/news/cmt0aa8b416z0rodptcwaftq0/