Lanzamientos de modelos

Ant inclusionAI publica como código abierto la eficiente serie Ling-3.0 de modelos de lenguaje base

Título original:inclusionAI/Ling-3.0-tiny-base-30T

Resumen de IA

Ant inclusionAI publica como código abierto la eficiente serie Ling-3.0 de modelos de lenguaje base y lanza checkpoints de las etapas de preentrenamiento, entrenamiento intermedio y fusión (WSM), que permiten continuar el preentrenamiento, el ajuste fino y la investigación. Ling-3.0-tiny-base emplea una arquitectura MoE dispersa con 128 expertos enrutados, activa solo 1.3B parámetros por token y tiene 7.9B parámetros totales, además de atención lineal híbrida nativa para procesar contextos largos de forma eficiente.

Puntos clave

  • Ant inclusionAI publica como código abierto la eficiente serie Ling-3.
  • 0 de modelos de lenguaje base y lanza checkpoints de las etapas de preentrenamiento,entrenamiento…
  • 0-tiny-base emplea una arquitectura MoE dispersa con 128 expertos enrutados,activa solo 1.
  • 3B parámetros por token y tiene 7.
  • 9B parámetros totales,además de atención lineal híbrida nativa para procesar contextos largos de…

Resumen rápido

Publicado
Actualizado
Fuente
蚂蚁 inclusionAI:HuggingFace 新模型
Categoría
Lanzamientos de modelos
Puntuación IA
63
Leer el original Leer el artículo completo en la fuente original
Por qué importa

它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Ant inclusionAI publica como código abierto la eficiente serie Ling-3.0 de modelos de lenguaje base. 11. agosto 2026. https://new.nat6.net/es/news/cmt0aa8b416yxrodpvq5x791t/

Ver todo →