Lanzamientos de modelos

Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje eficientes

Título original:inclusionAI/Ling-3.0-flash-base-midtrain

Resumen de IA

Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje, que emplea una arquitectura MoE altamente dispersa (1/64): de 512 expertos enrutados, cada token activa solo 8, con 124B parámetros totales y solo 5.1B activos. La serie integra de forma nativa atención lineal y sustituye la atenuación tradicional de la tasa de aprendizaje por la fusión ponderada de puntos de control. El lanzamiento incluye puntos de control de varias etapas de entrenamiento (preentrenamiento, entrenamiento intermedio y fusión WSM), admite preentrenamiento continuo y ajuste fino, y se distribuye bajo licencia MIT.

Puntos clave

  • Ant inclusionAI abre el código de la serie Ling-3.
  • 0 de modelos base de lenguaje,que emplea una arquitectura MoE altamente dispersa (1/64): de 512…
  • 1B activos.
  • La serie integra de forma nativa atención lineal y sustituye la atenuación tradicional de la tasa…
  • El lanzamiento incluye puntos de control de varias etapas de entrenamiento…

Resumen rápido

Publicado
Actualizado
Fuente
蚂蚁 inclusionAI:HuggingFace 新模型
Categoría
Lanzamientos de modelos
Puntuación IA
64
Leer el original Leer el artículo completo en la fuente original
Por qué importa

把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje eficientes. 11. agosto 2026. https://new.nat6.net/es/news/cmt0aa8b416z0rodptcwaftq0/

Ver todo →