Ant inclusionAI publica como código abierto la serie Ling-3.0 de modelos de lenguaje base
Título original:inclusionAI/Ling-3.0-tiny-base
Resumen de IA
Ant inclusionAI publica como código abierto la serie Ling-3.0 de modelos de lenguaje base, con dos tamaños, tiny y flash, y checkpoints de las etapas de preentrenamiento, entrenamiento intermedio y fusión (WSM). La serie emplea una arquitectura de atención lineal híbrida y MoE disperso, con 7.9B parámetros totales y solo 1.3B parámetros activos por token (8 de 128 expertos enrutados).
Puntos clave
- Ant inclusionAI publica como código abierto la serie Ling-3.
- 0 de modelos de lenguaje base,con dos tamaños,tiny y flash,y checkpoints de las etapas de…
- La serie emplea una arquitectura de atención lineal híbrida y MoE disperso,con 7.
- 9B parámetros totales y solo 1.
- 3B parámetros activos por token (8 de 128 expertos enrutados).
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Lanzamientos de modelos
- Puntuación IA
- 65
用加权检查点合并替代学习率衰减,让基座模型更适合持续预训练,也为验证不同衰减曲线省去重复实验。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Ant inclusionAI publica como código abierto la serie Ling-3.0 de modelos de lenguaje base. 11. agosto 2026. https://new.nat6.net/es/news/cmt0aa8b416ywrodpq8czlstx/