Мнения

Чжоу Цзюнь из Ant Group: как гибридная линейная модификация повышает плотность токенов моделей с триллионом параметров

Оригинальный заголовок:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能

ИИ-резюме

Вице-президент Ant Group Чжоу Цзюнь заявил, что вычислительная стоимость работы модели с триллионом параметров в течение 15 минут примерно равна стоимости Tesla, и эффективность — первая проблема эпохи агентов. Команда за счёт гибридной линейной модификации из 7 частей Lightning Attention и 1 части MLA снизила стоимость длинного контекста 256K с экспоненциальной до линейной; вместе с алгоритмом Kpop и обучением в реальной среде это сократило вывод токенов примерно в 4 раза, и модель со 100 млрд параметров превосходит некоторые более крупные модели на реальных Agent-задачах.

Ключевые моменты

  • Вице-президент Ant Group Чжоу Цзюнь заявил,что вычислительная стоимость работы модели с триллионом…
  • Команда за счёт гибридной линейной модификации из 7 частей Lightning Attention и 1 части MLA…
  • вместе с алгоритмом Kpop и обучением в реальной среде это сократило вывод токенов примерно в 4…

Кратко

Опубликовано
Обновлено
Источник
公众号:蚂蚁百灵(Ling)
Категория
Мнения
Оценка ИИ
60
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Чжоу Цзюнь из Ant Group: как гибридная линейная модификация повышает плотность токенов моделей с триллионом параметров. 8 июля 2026. https://new.nat6.net/ru/news/cmsdu2qga010drofz1h40txvh/

Смотреть все →