Lanzamientos de modelos

Ant inclusionAI publica como código abierto la serie Ling-3.0 de modelos de lenguaje base

Título original:inclusionAI/Ling-3.0-tiny-base

Resumen de IA

Ant inclusionAI publica como código abierto la serie Ling-3.0 de modelos de lenguaje base, con dos tamaños, tiny y flash, y checkpoints de las etapas de preentrenamiento, entrenamiento intermedio y fusión (WSM). La serie emplea una arquitectura de atención lineal híbrida y MoE disperso, con 7.9B parámetros totales y solo 1.3B parámetros activos por token (8 de 128 expertos enrutados).

Puntos clave

  • Ant inclusionAI publica como código abierto la serie Ling-3.
  • 0 de modelos de lenguaje base,con dos tamaños,tiny y flash,y checkpoints de las etapas de…
  • La serie emplea una arquitectura de atención lineal híbrida y MoE disperso,con 7.
  • 9B parámetros totales y solo 1.
  • 3B parámetros activos por token (8 de 128 expertos enrutados).

Resumen rápido

Publicado
Actualizado
Fuente
蚂蚁 inclusionAI:HuggingFace 新模型
Categoría
Lanzamientos de modelos
Puntuación IA
65
Leer el original Leer el artículo completo en la fuente original
Por qué importa

用加权检查点合并替代学习率衰减,让基座模型更适合持续预训练,也为验证不同衰减曲线省去重复实验。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Ant inclusionAI publica como código abierto la serie Ling-3.0 de modelos de lenguaje base. 11. agosto 2026. https://new.nat6.net/es/news/cmt0aa8b416ywrodpq8czlstx/

Ver todo →