观点与评论

蚂蚁集团周俊:如何用混合线性改造提升万亿参数模型的Token密度

原文标题:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能

AI 摘要

蚂蚁集团副总裁周俊提出,万亿参数模型每运行15分钟算力成本约相当于一辆特斯拉,效率是智能体时代必须最先解决的问题。团队通过7份Lightning Attention搭配1份MLA的混合线性改造,将256K长上下文成本从指数级降至线性级,配合Kpop算法与真实环境训练,使Token输出减少约4倍,千亿参数模型在真实Agent任务上超过部分更大规模模型。

关键信息

  • 蚂蚁集团副总裁周俊提出,万亿参数模型每运行15分钟算力成本约相当于一辆特斯拉,效率是智能体时代必须最先解决的问题。
  • 团队通过7份Lightning Attention搭配1份MLA的混合线性改造,将256K长上下文成本从指数级降至线性级,配合Kpop算法与真实环境训练,使Token输出减少约4倍,千亿参数模型在真…
  • 7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线

速览

发布时间
更新时间
来源
公众号:蚂蚁百灵(Ling)
分类
观点与评论
AI 评分
60
阅读原文 前往信息源阅读完整正文
推荐理由

7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:蚂蚁集团周俊:如何用混合线性改造提升万亿参数模型的Token密度。2026年7月8日。https://new.nat6.net/news/cmsdu2qga010drofz1h40txvh/

查看全部 →
  • AI预检检查:智能体工作记忆架构

    一种为AI智能体设计的预检工作记忆架构:查询到来时,系统从磁盘上约90个索引化的技能库中检索最相关技能,仅加载到上下文窗口。本地开源模型Ornith 35B(350亿参数,通过Ollama在Apple Silicon上运行)执行任务,约8…

    Tomasz Tunguz 博客(VC 分析)观点与评论AI 评分 57

  • 智能免费,然后呢?——Data Systems for, of, and by Agents

    AI推理成本急剧下降。GPT-4级能力从2023年初每百万token约30美元降至今天不到1美元,部分供应商已低于0.10美元。推理价格每年下降9至900倍,中位数约50倍。知识工作级智能即将近乎免费。这给数据系统带来三重变革:面向智能体…

    BAIR:Berkeley AI Research Blog观点与评论AI 评分 62

  • Benedict Evans 谈如何理解 token 定价

    Benedict Evans 撰文分析 token 定价,认为当前市场处于供应紧张且不稳定的阶段,所有变量都在变动,未来几年会形成新的均衡。他提出目前可见的动态都指向基础模型趋向低毛利的商品化基础设施,价值由上层应用捕获,并用移动网络、半…

    Benedict Evans:Blog(RSS)观点与评论AI 评分 67

  • FDE爆发:AI公司12个月承诺97.5亿美元部署工程

    AI公司在12个月内合计承诺97.5亿美元用于建设前部署工程(FDE)团队。三种结构模型浮现:资产负债模型(微软、亚马逊从现有编制调配,Salesforce承诺1000个FDE岗位);独立实体模型(OpenAI Deployment Co…

    Tomasz Tunguz 博客(VC 分析)观点与评论AI 评分 77

  • AI 能否回答 3 万亿美元的问题?

    Sequoia 合伙人 David Cahn 更新 AI 基础设施支出估算:2026 年全球投入达 1.5 万亿美元,行业需产生 3 万亿美元收入才能回本。Anthropic 年化收入(ARR)达 600 亿美元,OpenAI 2025…

    TechCrunch:AI(RSS)观点与评论AI 评分 73