Релизы моделей

Ant inclusionAI открывает исходный код серии эффективных языковых базовых моделей Ling-3.0

Оригинальный заголовок:inclusionAI/Ling-3.0-flash-base-30T

ИИ-резюме

Ant inclusionAI открыла исходный код серии языковых базовых моделей Ling-3.0 и выпустила контрольные точки нескольких этапов: предобучения, промежуточного обучения и объединения (WSM). Серия использует высокоразреженную архитектуру MoE (1/64): из 512 маршрутизируемых экспертов на каждый токен активируются только 8, активные параметры — всего 5.1B (Non-emb) при общем числе параметров 124B. Модели нативно сочетают KDA и Gated MLA в гибридном линейном внимании для эффективной обработки длинного контекста.

Ключевые моменты

  • Ant inclusionAI открыла исходный код серии языковых базовых моделей Ling-3.
  • 0 и выпустила контрольные точки нескольких этапов: предобучения,промежуточного обучения и…
  • Серия использует высокоразреженную архитектуру MoE (1/64): из 512 маршрутизируемых экспертов на…
  • 1B (Non-emb) при общем числе параметров 124B.
  • Модели нативно сочетают KDA и Gated MLA в гибридном линейном внимании для эффективной обработки…

Кратко

Опубликовано
Обновлено
Источник
蚂蚁 inclusionAI:HuggingFace 新模型
Категория
Релизы моделей
Оценка ИИ
68
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Ant inclusionAI открывает исходный код серии эффективных языковых базовых моделей Ling-3.0. 11 августа 2026. https://new.nat6.net/ru/news/cmt0aa8b416yzrodp2cnlw3wj/

Смотреть все →