其他

Hugging Face Hub 正式推出 Storage Buckets 存储服务

原文标题:Introducing Storage Buckets on the Hugging Face Hub

AI 摘要

Hugging Face Hub 发布 Storage Buckets,这是一种为机器学习工作流设计的可变、类 S3 的对象存储服务。它基于 Xet 存储后端,能对跨文件共享内容的 ML 工件进行高效去重,从而节省带宽、加速传输并降低存储成本。该服务还提供“预暖”功能,可将数据预先迁移至靠近计算资源的云区域,以提升分布式训练等场景的效率。目前支持 AWS 和 GCP,用户可通过 CLI 或 Python 库在 2 分钟内快速创建和同步存储桶。

关键信息

  • Hugging Face Hub 发布 Storage Buckets,这是一种为机器学习工作流设计的可变、类 S3 的对象存储服务。
  • 它基于 Xet 存储后端,能对跨文件共享内容的 ML 工件进行高效去重,从而节省带宽、加速传输并降低存储成本。
  • 该服务还提供“预暖”功能,可将数据预先迁移至靠近计算资源的云区域,以提升分布式训练等场景的效率。
  • 目前支持 AWS 和 GCP,用户可通过 CLI 或 Python 库在 2 分钟内快速创建和同步存储桶
  • ML 开发者可高效管理训练数据和检查点,节省存储成本并加速工作流

速览

发布时间
更新时间
来源
Hugging Face 社区博客(混合发现)
分类
其他
AI 评分
83
阅读原文 前往信息源阅读完整正文
推荐理由

ML 开发者可高效管理训练数据和检查点,节省存储成本并加速工作流。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Hugging Face Hub 正式推出 Storage Buckets 存储服务。2026年3月10日。https://new.nat6.net/news/cmoegbhaj0093slxxxx35fdze/

查看全部 →
  • 保持令牌流动:16个开源强化学习库的教训

    同步强化学习训练中,数据生成是主要瓶颈,如在320亿参数模型上生成3.2万令牌样本需数小时,导致训练GPU闲置。业界主流解决方案是将推理与训练解耦到不同GPU池,通过rollout缓冲区连接并异步传输权重。本文调研了16个实现此模式的开源…

    Hugging Face 社区博客(混合发现)其他AI 评分 83

  • Ulysses Sequence Parallelism: 实现百万令牌上下文的训练

    研究团队发布了Ulysses序列并行方法,这是一种用于训练大型语言模型的新技术。该方法通过将长序列在设备间进行特定维度的分割与重组,实现了对极长上下文的并行处理。其核心变化在于能高效训练上下文长度高达百万令牌的模型,突破了现有方法在序列长…

    Hugging Face 社区博客(混合发现)其他AI 评分 76

  • Advanced Machine Intelligence(AMI Labs)新创公司正式亮相

    AMI Labs 宣布获 10.3 亿美元种子轮融资,由 Cathay Innovation、Bezos Expeditions 等领投,创欧洲公司种子轮纪录。公司致力于开发基于世界模型的新型 AI 系统,具备理解世界、持久记忆、推理规划…

    X:Yann LeCun (@ylecun)其他

  • LeRobot v0.5.0: 扩展每一个维度

    Hugging Face 发布了 LeRobot v0.5.0 版本。该版本在数据集、模型、任务和社区四个维度上进行了全面扩展。具体包括:引入了新的现实世界和模拟数据集,推出了支持多任务学习的模型,并扩展了任务范围至移动操作和双臂协调。社…

    Hugging Face 社区博客(混合发现)其他AI 评分 71

  • ChatGPT 推出数学与科学学习新方式

    ChatGPT 新增数学与科学交互式可视化解释功能,支持实时探索公式、变量及概念,帮助学生更直观地理解理科知识。

    OpenAI:官网动态(RSS · 排除企业/客户案例)其他