Релизы моделей

Ant inclusionAI открывает исходный код серии эффективных языковых базовых моделей Ling-3.0

Оригинальный заголовок:inclusionAI/Ling-3.0-flash-base-midtrain

ИИ-резюме

Ant inclusionAI открыла исходный код серии языковых базовых моделей Ling-3.0. Архитектура — высокоразреженный MoE (1/64): из 512 маршрутизируемых экспертов на каждый токен активируются только 8, общее число параметров — 124B, активные — всего 5.1B. Серия нативно интегрирует линейное внимание и заменяет традиционное затухание скорости обучения взвешенным объединением контрольных точек. Выпуск включает контрольные точки нескольких этапов обучения — предобучения, промежуточного обучения и объединения (WSM) — и поддерживает продолжение предобучения и дообучение. Модели распространяются по лицензии MIT.

Ключевые моменты

  • Ant inclusionAI открыла исходный код серии языковых базовых моделей Ling-3.
  • Архитектура — высокоразреженный MoE (1/64): из 512 маршрутизируемых экспертов на каждый токен…
  • Серия нативно интегрирует линейное внимание и заменяет традиционное затухание скорости обучения…
  • Выпуск включает контрольные точки нескольких этапов обучения — предобучения,промежуточного…
  • Модели распространяются по лицензии MIT.

Кратко

Опубликовано
Обновлено
Источник
蚂蚁 inclusionAI:HuggingFace 新模型
Категория
Релизы моделей
Оценка ИИ
64
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Ant inclusionAI открывает исходный код серии эффективных языковых базовых моделей Ling-3.0. 11 августа 2026. https://new.nat6.net/ru/news/cmt0aa8b416z0rodptcwaftq0/

Смотреть все →