Lanzamientos de modelos

Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje eficientes

Título original:inclusionAI/Ling-3.0-flash-base-30T

Resumen de IA

Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje y publica puntos de control de varias etapas: preentrenamiento, entrenamiento intermedio y fusión (WSM). La serie emplea una arquitectura MoE altamente dispersa (1/64): de 512 expertos enrutados, cada token activa solo 8, con 5.1B parámetros activos (Non-emb) y 124B en total, e integra de forma nativa atención lineal híbrida KDA y Gated MLA para procesar contextos largos con eficiencia.

Puntos clave

  • Ant inclusionAI abre el código de la serie Ling-3.
  • 0 de modelos base de lenguaje y publica puntos de control de varias etapas:…
  • La serie emplea una arquitectura MoE altamente dispersa (1/64): de 512 expertos enrutados,cada…
  • 1B parámetros activos (Non-emb) y 124B en total,e integra de forma nativa atención lineal híbrida…

Resumen rápido

Publicado
Actualizado
Fuente
蚂蚁 inclusionAI:HuggingFace 新模型
Categoría
Lanzamientos de modelos
Puntuación IA
68
Leer el original Leer el artículo completo en la fuente original
Por qué importa

把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje eficientes. 11. agosto 2026. https://new.nat6.net/es/news/cmt0aa8b416yzrodp2cnlw3wj/

Ver todo →