Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje eficientes
Título original:inclusionAI/Ling-3.0-flash-base
Resumen de IA
Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje, que emplea una arquitectura MoE altamente dispersa (1/64) con 512 expertos enrutados; cada token activa solo 8 expertos enrutados y 1 experto compartido, con solo 5.1B parámetros activos (Non-emb).
Puntos clave
- Ant inclusionAI abre el código de la serie Ling-3.
- 0 de modelos base de lenguaje,que emplea una arquitectura MoE altamente dispersa (1/64) con 512…
- cada token activa solo 8 expertos enrutados y 1 experto compartido,con solo 5.
- 1B parámetros activos (Non-emb).
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Lanzamientos de modelos
- Puntuación IA
- 64
WSM 合并替代学习率衰减,让持续预训练和动态数据扩展不必为每种衰减策略重跑训练,降低实验成本。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Ant inclusionAI abre el código de la serie Ling-3.0 de modelos base de lenguaje eficientes. 11. agosto 2026. https://new.nat6.net/es/news/cmt0aa8b416yyrodpws2xobnz/