Релизы моделей

Ant inclusionAI открыла базовую MoE-модель Ling-2.6-1T-base с триллионом параметров

Оригинальный заголовок:inclusionAI/Ling-2.6-1T-base

ИИ-резюме

Ling-2.6-1T-base — открытая базовая MoE-модель Ant inclusionAI (около 1T общих параметров, 63B активных). Она является развитием Ling-2.0-1T-base и использует линейную архитектуру внимания со смешением Lightning Attention и MLA в пропорции 7:1; после миграционного предобучения, продолженного предобучения и среднего обучения на примерно 9,6T токенов контекстное окно поэтапно расширено с 4K до 256K. Модель превосходит предшественника на бенчмарках MMLU (86,82), SimpleQA, LongBenchv2 (43,54) и других. Предназначена только для исследований (продолженное предобучение, дообучение, дистилляция и т.п.) и не предоставляет диалоговых функций напрямую.

Ключевые моменты

  • 6-1T-base — открытая базовая MoE-модель Ant inclusionAI (около 1T общих параметров,63B активных).
  • Она является развитием Ling-2.
  • 0-1T-base и использует линейную архитектуру внимания со смешением Lightning Attention и MLA в…
  • после миграционного предобучения,продолженного предобучения и среднего обучения на примерно 9,6T…
  • Модель превосходит предшественника на бенчмарках MMLU (86,82),SimpleQA,LongBenchv2 (43,54) и других.

Кратко

Опубликовано
Обновлено
Источник
蚂蚁 inclusionAI:HuggingFace 新模型
Категория
Релизы моделей
Оценка ИИ
61
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Ant inclusionAI открыла базовую MoE-модель Ling-2.6-1T-base с триллионом параметров. 2 июня 2026. https://new.nat6.net/ru/news/cmqg2a9rm02wlslsplna4jnm6/

Смотреть все →