Ant inclusionAI открывает исходный код серии эффективных языковых базовых моделей Ling-3.0
Оригинальный заголовок:inclusionAI/Ling-3.0-flash-base-30T
ИИ-резюме
Ant inclusionAI открыла исходный код серии языковых базовых моделей Ling-3.0 и выпустила контрольные точки нескольких этапов: предобучения, промежуточного обучения и объединения (WSM). Серия использует высокоразреженную архитектуру MoE (1/64): из 512 маршрутизируемых экспертов на каждый токен активируются только 8, активные параметры — всего 5.1B (Non-emb) при общем числе параметров 124B. Модели нативно сочетают KDA и Gated MLA в гибридном линейном внимании для эффективной обработки длинного контекста.
Ключевые моменты
- Ant inclusionAI открыла исходный код серии языковых базовых моделей Ling-3.
- 0 и выпустила контрольные точки нескольких этапов: предобучения,промежуточного обучения и…
- Серия использует высокоразреженную архитектуру MoE (1/64): из 512 маршрутизируемых экспертов на…
- 1B (Non-emb) при общем числе параметров 124B.
- Модели нативно сочетают KDA и Gated MLA в гибридном линейном внимании для эффективной обработки…
Кратко
- Опубликовано
- Обновлено
- Источник
- 蚂蚁 inclusionAI:HuggingFace 新模型
- Категория
- Релизы моделей
- Оценка ИИ
- 68
把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Ant inclusionAI открывает исходный код серии эффективных языковых базовых моделей Ling-3.0. 11 августа 2026. https://new.nat6.net/ru/news/cmt0aa8b416yzrodp2cnlw3wj/