Ant inclusionAI publica como código abierto la eficiente serie Ling-3.0 de modelos de lenguaje base
Título original:inclusionAI/Ling-3.0-tiny-base-30T
Resumen de IA
Ant inclusionAI publica como código abierto la eficiente serie Ling-3.0 de modelos de lenguaje base y lanza checkpoints de las etapas de preentrenamiento, entrenamiento intermedio y fusión (WSM), que permiten continuar el preentrenamiento, el ajuste fino y la investigación. Ling-3.0-tiny-base emplea una arquitectura MoE dispersa con 128 expertos enrutados, activa solo 1.3B parámetros por token y tiene 7.9B parámetros totales, además de atención lineal híbrida nativa para procesar contextos largos de forma eficiente.
Puntos clave
- Ant inclusionAI publica como código abierto la eficiente serie Ling-3.
- 0 de modelos de lenguaje base y lanza checkpoints de las etapas de preentrenamiento,entrenamiento…
- 0-tiny-base emplea una arquitectura MoE dispersa con 128 expertos enrutados,activa solo 1.
- 3B parámetros por token y tiene 7.
- 9B parámetros totales,además de atención lineal híbrida nativa para procesar contextos largos de…
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Lanzamientos de modelos
- Puntuación IA
- 63
它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Ant inclusionAI publica como código abierto la eficiente serie Ling-3.0 de modelos de lenguaje base. 11. agosto 2026. https://new.nat6.net/es/news/cmt0aa8b416yxrodpvq5x791t/