Релизы моделей

Ant Group inclusionAI открыла серию эффективных языковых базовых моделей Ling-3.0

Оригинальный заголовок:inclusionAI/Ling-3.0-tiny-base-30T

ИИ-резюме

Ant Group inclusionAI открыла серию эффективных языковых базовых моделей Ling-3.0 и опубликовала контрольные точки этапов предобучения, среднего обучения и слияния (WSM), поддерживающие продолжение предобучения, дообучение и исследования. Ling-3.0-tiny-base использует разреженную архитектуру MoE со 128 маршрутизируемыми экспертами, активирует лишь 1.3B параметров на токен при общем числе параметров 7.9B и нативно сочетает линейное внимание для эффективной обработки длинного контекста.

Ключевые моменты

  • Ant Group inclusionAI открыла серию эффективных языковых базовых моделей Ling-3.
  • 0 и опубликовала контрольные точки этапов предобучения,среднего обучения и слияния…
  • 0-tiny-base использует разреженную архитектуру MoE со 128 маршрутизируемыми экспертами,активирует…
  • 3B параметров на токен при общем числе параметров 7.
  • 9B и нативно сочетает линейное внимание для эффективной обработки длинного контекста.

Кратко

Опубликовано
Обновлено
Источник
蚂蚁 inclusionAI:HuggingFace 新模型
Категория
Релизы моделей
Оценка ИИ
63
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Ant Group inclusionAI открыла серию эффективных языковых базовых моделей Ling-3.0. 11 августа 2026. https://new.nat6.net/ru/news/cmt0aa8b416yxrodpvq5x791t/

Смотреть все →