Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje eficientes
Título original:inclusionAI/Ling-3.0-flash-base-30T
Resumen de IA
Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje y publica puntos de control de varias etapas: preentrenamiento, entrenamiento intermedio y fusión (WSM). La serie emplea una arquitectura MoE altamente dispersa (1/64): de 512 expertos enrutados, cada token activa solo 8, con 5.1B parámetros activos (Non-emb) y 124B en total, e integra de forma nativa atención lineal híbrida KDA y Gated MLA para procesar contextos largos con eficiencia.
Puntos clave
- Ant inclusionAI abre el código de la serie Ling-3.
- 0 de modelos base de lenguaje y publica puntos de control de varias etapas:…
- La serie emplea una arquitectura MoE altamente dispersa (1/64): de 512 expertos enrutados,cada…
- 1B parámetros activos (Non-emb) y 124B en total,e integra de forma nativa atención lineal híbrida…
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Lanzamientos de modelos
- Puntuación IA
- 68
把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje eficientes. 11. agosto 2026. https://new.nat6.net/es/news/cmt0aa8b416yzrodp2cnlw3wj/