观点与评论

AI中心的数据黑洞

原文标题:The data black hole at the center of AI

AI 摘要

智能的一种定义是样本效率,但近年AI进步主要靠扩充数据分布和增加算力。强化学习本质是合成数据生成——投入大量算力通过验证器筛选“好”数据,再训练模型预测正确输出。这一过程需要每个领域和技能的海量人类专家示例,数据行业年收入已达数十亿美元。近日Epoch报告,开源模型仅落后前沿闭源模型4个月,原因在于数据可从公开API蒸馏,而超参数等不易复制。人类一生接触约2亿token,前沿模型训练在数十到数百T token之间,相差近百万倍——机器人、自动驾驶等领域同样存在巨大效率差距。

关键信息

  • 智能的一种定义是样本效率,但近年AI进步主要靠扩充数据分布和增加算力。
  • 强化学习本质是合成数据生成——投入大量算力通过验证器筛选“好”数据,再训练模型预测正确输出。
  • 这一过程需要每个领域和技能的海量人类专家示例,数据行业年收入已达数十亿美元。
  • 近日Epoch报告,开源模型仅落后前沿闭源模型4个月,原因在于数据可从公开API蒸馏,而超参数等不易复制。
  • 人类一生接触约2亿token,前沿模型训练在数十到数百T token之间,相差近百万倍——机器人、自动驾驶等领域同样存在巨大效率差距

速览

发布时间
更新时间
来源
Dwarkesh Patel:Podcast & Blog(RSS)
分类
观点与评论
AI 评分
60
阅读原文 前往信息源阅读完整正文
推荐理由

Dwarkesh 把 AI 的‘笨’归因于数据效率远低于人类,计算虽简但直指要害,他给出的一个逆向洞察是开源模型四个月追上闭源,正是数据驱动进步的最好证据。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:AI中心的数据黑洞。2026年6月20日。https://new.nat6.net/news/cmql6vhtu01n0slluxpq3yvzh/

查看全部 →
  • 禁止开源AI将是一个错误

    近期行政命令、国会提案及对Anthropic最先进模型的境外访问限制,可能开启新一轮AI监管。开源软件已支撑全球90%以上软件并创造8万亿美元经济价值,在教育、创新和竞争三方面持续赋能。Anthropic与OpenAI的封闭模型加剧市场集…

    Nathan Lambert:Interconnects(RSS)观点与评论AI 评分 56

  • Fable模型被美国临时关闭,AI安全管控时代来临

    美国政府短暂关闭了Mythos类中的Fable模型,标志着AI模型已越过危险门槛。作者预测最多两三代模型后,超级智能将像核武器一样被管控,大多数Fortune 500企业无法访问或仅受控使用。开源模型落后前沿约七个月,且面临算力和政府锁定…

    Steve Yegge:Medium(RSS)观点与评论AI 评分 74

  • Anthropic 工程负责人:Claude Code 让程序员更孤独

    6月22日,Anthropic工程负责人Fiona Fung表示,Claude Code和Claude Cowork等AI智能体让工程师越发依赖智能体工作,彼此之间交流减少,长期易感孤独。团队为此组织编程午餐、黑客松和共同开发时段,重新创…

    IT之家·人工智能观点与评论AI 评分 70

  • DeepSeek V4 智能体 token 份额持续增长

    DeepSeek 于4月24日发布新一代旗舰模型 V4 系列。OpenRouter 数据显示,V4 发布后其 token 份额从年初的9%增长至6月初的18%,自5月中旬起成为 OpenRouter 最受欢迎模型。V4 是首个足以胜任智能…

    OpenRouter:Announcements(RSS)观点与评论AI 评分 73

  • 恶意CDN仍潜伏GitHub Pages,AI让情况恶化

    UC Berkeley研究人员发现,近2000个GitHub Pages站点(18000+页面,累计530K+星标)仍在加载来自polyfill.io及其关联恶意CDN的脚本。这些CDN由已被OFAC制裁的Funnull Technolo…

    Berkeley RDI:Blog(AI 安全与评测)观点与评论AI 评分 82