观点与评论

蚂蚁集团周俊AICon演讲:从Token数量到Token密度,万亿参数模型效率优先

原文标题:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能

AI 摘要

蚂蚁集团副总裁周俊在AICon演讲指出,万亿参数模型每运行15分钟算力成本约等于一辆特斯拉,效率是智能体时代最需解决的问题。团队提出从“更多Token”转向“更高Token密度”策略,采用7份Lightning Attention加1份MLA的混合线性注意力架构,使256K长上下文成本从指数级降至线性级,算力更多用于思考。通过Kpop算法区分工具调用与自然语言Token,结合思维链剪枝、自蒸馏等,Token输出减少约4倍而能力不降。在LongBench、BFCL等基准上提升显著,千亿参数模型在Agent任务中超越部分更大模型;小模型flash吞吐达2.4倍,五轮对话成本下降10倍以上。

关键信息

  • 蚂蚁集团副总裁周俊在AICon演讲指出,万亿参数模型每运行15分钟算力成本约等于一辆特斯拉,效率是智能体时代最需解决的问题。
  • 团队提出从“更多Token”转向“更高Token密度”策略,采用7份Lightning Attention加1份MLA的混合线性注意力架构,使256K长上下文成本从指数级降至线性级,算力更多用于思考。
  • 通过Kpop算法区分工具调用与自然语言Token,结合思维链剪枝、自蒸馏等,Token输出减少约4倍而能力不降。
  • 在LongBench、BFCL等基准上提升显著,千亿参数模型在Agent任务中超越部分更大模型
  • 小模型flash吞吐达2.

速览

发布时间
更新时间
来源
公众号:蚂蚁百灵(Ling)
分类
观点与评论
AI 评分
64
阅读原文 前往信息源阅读完整正文
推荐理由

蚂蚁百灵副总裁周俊这次分享,把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面,7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:蚂蚁集团周俊AICon演讲:从Token数量到Token密度,万亿参数模型效率优先。2026年7月8日。https://new.nat6.net/news/cmrbdsefa02yjihl17gg7mhx3/

查看全部 →
  • Benedict Evans 谈如何理解 token 定价

    Benedict Evans 撰文分析 token 定价,认为当前市场处于供应紧张且不稳定的阶段,所有变量都在变动,未来几年会形成新的均衡。他提出目前可见的动态都指向基础模型趋向低毛利的商品化基础设施,价值由上层应用捕获,并用移动网络、半…

    Benedict Evans:Blog(RSS)观点与评论AI 评分 67

  • AI预检检查:智能体工作记忆架构

    一种为AI智能体设计的预检工作记忆架构:查询到来时,系统从磁盘上约90个索引化的技能库中检索最相关技能,仅加载到上下文窗口。本地开源模型Ornith 35B(350亿参数,通过Ollama在Apple Silicon上运行)执行任务,约8…

    Tomasz Tunguz 博客(VC 分析)观点与评论AI 评分 57

  • AI 能否回答 3 万亿美元的问题?

    Sequoia 合伙人 David Cahn 更新 AI 基础设施支出估算:2026 年全球投入达 1.5 万亿美元,行业需产生 3 万亿美元收入才能回本。Anthropic 年化收入(ARR)达 600 亿美元,OpenAI 2025…

    TechCrunch:AI(RSS)观点与评论AI 评分 73

  • 智能免费,然后呢?——Data Systems for, of, and by Agents

    AI推理成本急剧下降。GPT-4级能力从2023年初每百万token约30美元降至今天不到1美元,部分供应商已低于0.10美元。推理价格每年下降9至900倍,中位数约50倍。知识工作级智能即将近乎免费。这给数据系统带来三重变革:面向智能体…

    BAIR:Berkeley AI Research Blog观点与评论AI 评分 62

  • 马斯克承认Anthropic是当前AI领导者

    马斯克在X上发文承认自己此前对Anthropic的判断有误,称其“显然是当前AI领域的领导者”。他表示,没有公司发布过像Mythos/Fable这样优秀的模型,并相信Anthropic很快会推出Mythos 2。他还强调,即使作为竞争对手…

    X:Rohan Paul (@rohanpaul_ai)观点与评论AI 评分 75