Выступление Чжоу Цзюня из Ant Group на AICon: от количества токенов к плотности токенов, приоритет эффективности моделей с триллионом параметров
Оригинальный заголовок:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能
ИИ-резюме
Вице-президент Ant Group Чжоу Цзюнь на AICon отметил, что вычислительная стоимость 15 минут работы модели с триллионом параметров примерно равна стоимости Tesla, и эффективность — главная проблема эпохи агентов. Команда предложила перейти от «большего числа токенов» к «более высокой плотности токенов» и использовать гибридную линейную архитектуру внимания из 7 частей Lightning Attention и 1 части MLA, что снижает стоимость длинного контекста 256K с экспоненциальной до линейной и позволяет направлять больше вычислений на рассуждение. Алгоритм Kpop различает токены вызова инструментов и естественного языка, а вместе с прунингом цепочки рассуждений и самодистилляцией это сокращает вывод токенов примерно в 4 раза без потери способностей. На бенчмарках LongBench, BFCL и других достигнут заметный рост; модель со 100 млрд параметров превосходит некоторые более крупные модели в агентных задачах; пропускная способность малой модели flash достигает 2,4×, а стоимость пяти раундов диалога снижается более чем в 10 раз.
Ключевые моменты
- Вице-президент Ant Group Чжоу Цзюнь на AICon отметил,что вычислительная стоимость 15 минут работы…
- Команда предложила перейти от «большего числа токенов» к «более высокой плотности токенов» и…
- Алгоритм Kpop различает токены вызова инструментов и естественного языка,а вместе с прунингом…
- На бенчмарках LongBench,BFCL и других достигнут заметный рост
- модель со 100 млрд параметров превосходит некоторые более крупные модели в агентных задачах
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:蚂蚁百灵(Ling)
- Категория
- Мнения
- Оценка ИИ
- 64
蚂蚁百灵副总裁周俊这次分享,把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面,7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Выступление Чжоу Цзюня из Ant Group на AICon: от количества токенов к плотности токенов, приоритет эффективности моделей с триллионом параметров. 8 июля 2026. https://new.nat6.net/ru/news/cmrbdsefa02yjihl17gg7mhx3/