Ant inclusionAI открывает исходный код серии эффективных языковых базовых моделей Ling-3.0
Оригинальный заголовок:inclusionAI/Ling-3.0-flash-base-midtrain
ИИ-резюме
Ant inclusionAI открыла исходный код серии языковых базовых моделей Ling-3.0. Архитектура — высокоразреженный MoE (1/64): из 512 маршрутизируемых экспертов на каждый токен активируются только 8, общее число параметров — 124B, активные — всего 5.1B. Серия нативно интегрирует линейное внимание и заменяет традиционное затухание скорости обучения взвешенным объединением контрольных точек. Выпуск включает контрольные точки нескольких этапов обучения — предобучения, промежуточного обучения и объединения (WSM) — и поддерживает продолжение предобучения и дообучение. Модели распространяются по лицензии MIT.
Ключевые моменты
- Ant inclusionAI открыла исходный код серии языковых базовых моделей Ling-3.
- Архитектура — высокоразреженный MoE (1/64): из 512 маршрутизируемых экспертов на каждый токен…
- Серия нативно интегрирует линейное внимание и заменяет традиционное затухание скорости обучения…
- Выпуск включает контрольные точки нескольких этапов обучения — предобучения,промежуточного…
- Модели распространяются по лицензии MIT.
Кратко
- Опубликовано
- Обновлено
- Источник
- 蚂蚁 inclusionAI:HuggingFace 新模型
- Категория
- Релизы моделей
- Оценка ИИ
- 64
把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Ant inclusionAI открывает исходный код серии эффективных языковых базовых моделей Ling-3.0. 11 августа 2026. https://new.nat6.net/ru/news/cmt0aa8b416z0rodptcwaftq0/