Prime Intellect 发布 INTELLECT-1:首个全球分布式训练的 10B 参数模型
原文标题:INTELLECT-1 Release The First Globally Trained 10B Parameter Model
AI 摘要
Prime Intellect 发布 INTELLECT-1,称其为首个全球协作训练的 10B 参数语言模型,基于 Llama-3 架构在 1T token 上训练 42 天,跨五国三洲最多同时使用 112 张 H100。
关键信息
- Prime Intellect 发布 INTELLECT-1,称其为首个全球协作训练的 10B 参数语言模型
- 基于 Llama-3 架构在 1T token 上训练 42 天,跨五国三洲最多同时使用 112 张 H100
- 原文给出分布式训练的关键数字和 PRIME 框架细节,读者可以了解跨洲协作训练 10B 模型的可行性与工程代价
速览
- 发布时间
- 更新时间
- 分类
- 模型发布
- AI 评分
- 67
推荐理由
原文给出分布式训练的关键数字和 PRIME 框架细节,读者可以了解跨洲协作训练 10B 模型的可行性与工程代价。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:Prime Intellect 发布 INTELLECT-1:首个全球分布式训练的 10B 参数模型。2024年11月29日。https://new.nat6.net/news/cmtyo2mcq03forog0tg65pso1/