Релизы моделей

Ant Group inclusionAI открыла серию языковых базовых моделей Ling-3.0

Оригинальный заголовок:inclusionAI/Ling-3.0-tiny-base

ИИ-резюме

Ant Group inclusionAI открыла серию языковых базовых моделей Ling-3.0, включая размеры tiny и flash, а также контрольные точки этапов предобучения, среднего обучения и слияния (WSM). Серия использует гибридное линейное внимание и разреженную архитектуру MoE: общее число параметров 7.9B, на каждый токен активируется лишь 1.3B параметров (8 из 128 маршрутизируемых экспертов).

Ключевые моменты

  • Ant Group inclusionAI открыла серию языковых базовых моделей Ling-3.
  • 0,включая размеры tiny и flash,а также контрольные точки этапов предобучения,среднего обучения и…
  • Серия использует гибридное линейное внимание и разреженную архитектуру MoE: общее число параметров…
  • 9B,на каждый токен активируется лишь 1.
  • 3B параметров (8 из 128 маршрутизируемых экспертов).

Кратко

Опубликовано
Обновлено
Источник
蚂蚁 inclusionAI:HuggingFace 新模型
Категория
Релизы моделей
Оценка ИИ
65
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

用加权检查点合并替代学习率衰减,让基座模型更适合持续预训练,也为验证不同衰减曲线省去重复实验。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Ant Group inclusionAI открыла серию языковых базовых моделей Ling-3.0. 11 августа 2026. https://new.nat6.net/ru/news/cmt0aa8b416ywrodpq8czlstx/

Смотреть все →