其他

Meta研究人员披露Facebook 2020年起使用TPU训练AI

原文标题:most of people didn’t know this we had been using TPUs at *Facebook* as far back as 2020. Kaiming le...

AI 摘要

Meta研究人员透露,Facebook自2020年起使用TPU训练AI,由Kaiming He领导开发TF和JAX代码库,MAE、DiT等模型完全基于TPU构建。因内部采用有限,Meta于2023年取消GCP协议。推文指出,Google、Anthropic等实验室长期使用TPU训练大模型,Nvidia的CUDA护城河并非不可逾越,OpenAI亦投资Triton寻求替代。TPU与GPU的效率差异并非关键,系统工程人才才是决定性因素。

关键信息

  • Meta研究人员透露,Facebook自2020年起使用TPU训练AI,由Kaiming He领导开发TF和JAX代码库,MAE、DiT等模型完全基于TPU构建。
  • 因内部采用有限,Meta于2023年取消GCP协议。
  • 推文指出,Google、Anthropic等实验室长期使用TPU训练大模型,Nvidia的CUDA护城河并非不可逾越,OpenAI亦投资Triton寻求替代。
  • TPU与GPU的效率差异并非关键,系统工程人才才是决定性因素
  • 何恺明团队2020年起用TPU训练MAE/DiT,Nvidia护城河比想象更浅

速览

发布时间
更新时间
来源
X:谢赛宁 (@sainingxie)
分类
其他
阅读原文 前往信息源阅读完整正文
推荐理由

何恺明团队2020年起用TPU训练MAE/DiT,Nvidia护城河比想象更浅

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Meta研究人员披露Facebook 2020年起使用TPU训练AI。2025年11月27日。https://new.nat6.net/news/cmnz6dpf402aosl0fdjpw0kw1/

查看全部 →
  • Diffusers 集成 FLUX-2 模型

    Hugging Face 的 Diffusers 库正式集成 Black Forest Labs 开发的 FLUX-2 文生图模型。该模型拥有 120 亿参数,采用多模态扩散 Transformer 架构,在图像质量、提示遵循和分辨率方面…

    Hugging Face 社区博客(混合发现)其他AI 评分 80

  • Transformers v5:以简化模型定义驱动AI生态

    Transformers v5正式发布,其每日pip安装量从v4的2万次大幅提升至300万次以上,总安装量突破12亿次。模型架构数量从40个扩展至超400个,Hub上兼容的模型检查点从约1,000个增至75万个。新版本聚焦于简化模型定义、…

    Hugging Face 社区博客(混合发现)其他AI 评分 93

  • 从第一性原理看连续批处理

    连续批处理是优化大型语言模型推理吞吐量的核心技术,通过并行处理多个对话并在生成完成后动态交换任务,以最大化硬件利用率。从注意力机制和KV缓存的基础原理出发,文章推导了如何通过优化批处理提升性能。注意力层具有二次复杂度,但连续批处理允许查询…

    Hugging Face 社区博客(混合发现)其他AI 评分 76

  • 对 AI 进展的思考(2025年12月)

    作者对人工智能发展作出阶段性预判:短期内持温和看跌态度,认为行业可能面临调整期或增速放缓;长期来看则极度看涨,预期将迎来爆发式增长。这一观点揭示了技术成熟度曲线中短期波动与长期变革潜力之间的典型张力,为2025年底的 AI 发展态势提供了…

    Dwarkesh Patel:Podcast & Blog(RSS)其他