Мнения

Выступление Чжоу Цзюня из Ant Group на AICon: от количества токенов к плотности токенов, приоритет эффективности моделей с триллионом параметров

Оригинальный заголовок:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能

ИИ-резюме

Вице-президент Ant Group Чжоу Цзюнь на AICon отметил, что вычислительная стоимость 15 минут работы модели с триллионом параметров примерно равна стоимости Tesla, и эффективность — главная проблема эпохи агентов. Команда предложила перейти от «большего числа токенов» к «более высокой плотности токенов» и использовать гибридную линейную архитектуру внимания из 7 частей Lightning Attention и 1 части MLA, что снижает стоимость длинного контекста 256K с экспоненциальной до линейной и позволяет направлять больше вычислений на рассуждение. Алгоритм Kpop различает токены вызова инструментов и естественного языка, а вместе с прунингом цепочки рассуждений и самодистилляцией это сокращает вывод токенов примерно в 4 раза без потери способностей. На бенчмарках LongBench, BFCL и других достигнут заметный рост; модель со 100 млрд параметров превосходит некоторые более крупные модели в агентных задачах; пропускная способность малой модели flash достигает 2,4×, а стоимость пяти раундов диалога снижается более чем в 10 раз.

Ключевые моменты

  • Вице-президент Ant Group Чжоу Цзюнь на AICon отметил,что вычислительная стоимость 15 минут работы…
  • Команда предложила перейти от «большего числа токенов» к «более высокой плотности токенов» и…
  • Алгоритм Kpop различает токены вызова инструментов и естественного языка,а вместе с прунингом…
  • На бенчмарках LongBench,BFCL и других достигнут заметный рост
  • модель со 100 млрд параметров превосходит некоторые более крупные модели в агентных задачах

Кратко

Опубликовано
Обновлено
Источник
公众号:蚂蚁百灵(Ling)
Категория
Мнения
Оценка ИИ
64
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

蚂蚁百灵副总裁周俊这次分享,把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面,7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Выступление Чжоу Цзюня из Ant Group на AICon: от количества токенов к плотности токенов, приоритет эффективности моделей с триллионом параметров. 8 июля 2026. https://new.nat6.net/ru/news/cmrbdsefa02yjihl17gg7mhx3/

Смотреть все →