Ant inclusionAI открыла базовую MoE-модель Ling-2.6-1T-base с триллионом параметров
Оригинальный заголовок:inclusionAI/Ling-2.6-1T-base
ИИ-резюме
Ling-2.6-1T-base — открытая базовая MoE-модель Ant inclusionAI (около 1T общих параметров, 63B активных). Она является развитием Ling-2.0-1T-base и использует линейную архитектуру внимания со смешением Lightning Attention и MLA в пропорции 7:1; после миграционного предобучения, продолженного предобучения и среднего обучения на примерно 9,6T токенов контекстное окно поэтапно расширено с 4K до 256K. Модель превосходит предшественника на бенчмарках MMLU (86,82), SimpleQA, LongBenchv2 (43,54) и других. Предназначена только для исследований (продолженное предобучение, дообучение, дистилляция и т.п.) и не предоставляет диалоговых функций напрямую.
Ключевые моменты
- 6-1T-base — открытая базовая MoE-модель Ant inclusionAI (около 1T общих параметров,63B активных).
- Она является развитием Ling-2.
- 0-1T-base и использует линейную архитектуру внимания со смешением Lightning Attention и MLA в…
- после миграционного предобучения,продолженного предобучения и среднего обучения на примерно 9,6T…
- Модель превосходит предшественника на бенчмарках MMLU (86,82),SimpleQA,LongBenchv2 (43,54) и других.
Кратко
- Опубликовано
- Обновлено
- Источник
- 蚂蚁 inclusionAI:HuggingFace 新模型
- Категория
- Релизы моделей
- Оценка ИИ
- 61
Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Ant inclusionAI открыла базовую MoE-модель Ling-2.6-1T-base с триллионом параметров. 2 июня 2026. https://new.nat6.net/ru/news/cmqg2a9rm02wlslsplna4jnm6/