Ant Group inclusionAI открыла серию эффективных языковых базовых моделей Ling-3.0
Оригинальный заголовок:inclusionAI/Ling-3.0-tiny-base-30T
ИИ-резюме
Ant Group inclusionAI открыла серию эффективных языковых базовых моделей Ling-3.0 и опубликовала контрольные точки этапов предобучения, среднего обучения и слияния (WSM), поддерживающие продолжение предобучения, дообучение и исследования. Ling-3.0-tiny-base использует разреженную архитектуру MoE со 128 маршрутизируемыми экспертами, активирует лишь 1.3B параметров на токен при общем числе параметров 7.9B и нативно сочетает линейное внимание для эффективной обработки длинного контекста.
Ключевые моменты
- Ant Group inclusionAI открыла серию эффективных языковых базовых моделей Ling-3.
- 0 и опубликовала контрольные точки этапов предобучения,среднего обучения и слияния…
- 0-tiny-base использует разреженную архитектуру MoE со 128 маршрутизируемыми экспертами,активирует…
- 3B параметров на токен при общем числе параметров 7.
- 9B и нативно сочетает линейное внимание для эффективной обработки длинного контекста.
Кратко
- Опубликовано
- Обновлено
- Источник
- 蚂蚁 inclusionAI:HuggingFace 新模型
- Категория
- Релизы моделей
- Оценка ИИ
- 63
它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Ant Group inclusionAI открыла серию эффективных языковых базовых моделей Ling-3.0. 11 августа 2026. https://new.nat6.net/ru/news/cmt0aa8b416yxrodpvq5x791t/