论文与研究

Cartesia 发布 H-Net 扩缩律研究:字节级层级网络比 BPE 提升最高 3-5x 计算效率

原文标题:From Tokens to Bytes I: Scaling Hierarchical Networks

AI 摘要

Cartesia 发布系列博客第一篇,报告其层级网络(H-Net)在字节级语言建模上的扩缩律结果:与严格匹配的 BPE Transformer 相比,1-stage H-Net 在验证损失上节省 1.28x 计算,下游评测约 2x,代码任务中位数 2.04x、分布外编程语言中位数达 3.10x(如 Prolog 5.37x)。

关键信息

  • Cartesia 发布系列博客第一篇,报告其层级网络(H-Net)在字节级语言建模上的扩缩律结果:与严格匹配的 BPE Transformer 相比,1-stage H-Net 在验证损失上节省 1.
  • 28x 计算,下游评测约 2x,代码任务中位数 2.
  • 04x、分布外编程语言中位数达 3.
  • 10x(如 Prolog 5.
  • Cartesia 原创研究给出 H-Net 替代 BPE 分词的对照实验与 3-5x 计算效率数据,可了解字节级学习的实际进展

速览

发布时间
更新时间
来源
Cartesia 产品与研究
分类
论文与研究
AI 评分
60
阅读原文 前往信息源阅读完整正文
推荐理由

Cartesia 原创研究给出 H-Net 替代 BPE 分词的对照实验与 3-5x 计算效率数据,可了解字节级学习的实际进展。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Cartesia 发布 H-Net 扩缩律研究:字节级层级网络比 BPE 提升最高 3-5x 计算效率。2026年10月27日。https://new.nat6.net/news/ctuk7r4h4qbyyligi680s7gtr/

查看全部 →