Mga Papel at Pananaliksik

Inilabas ng Cartesia ang pananaliksik sa scaling law ng H-Net: hanggang 3-5x na pagbuti sa compute efficiency ng byte-level hierarchical network kaysa BPE

Orihinal na pamagat:From Tokens to Bytes I: Scaling Hierarchical Networks

AI summary

Inilabas ng Cartesia ang unang bahagi ng serye ng blog, na nag-uulat ng resulta ng scaling law ng hierarchical network (H-Net) nito sa byte-level language modeling: kumpara sa mahigpit na tugmang BPE Transformer, nakatipid ang 1-stage H-Net ng 1.28x compute sa validation loss, humigit-kumulang 2x sa downstream evaluation, 2.04x na median sa mga coding task, at 3.10x na median sa out-of-distribution programming language (halimbawa 5.37x sa Prolog).

Mahahalagang impormasyon

  • Inilabas ng Cartesia ang unang bahagi ng serye ng blog,na nag-uulat ng resulta ng scaling law ng…
  • 28x compute sa validation loss,humigit-kumulang 2x sa downstream evaluation,2.
  • 04x na median sa mga coding task,at 3.
  • 10x na median sa out-of-distribution programming language (halimbawa 5.
  • 37x sa Prolog).

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Cartesia 产品与研究
Kategorya
Mga Papel at Pananaliksik
AI na marka
60
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

Cartesia 原创研究给出 H-Net 替代 BPE 分词的对照实验与 3-5x 计算效率数据,可了解字节级学习的实际进展。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Inilabas ng Cartesia ang pananaliksik sa scaling law ng H-Net: hanggang 3-5x na pagbuti sa compute efficiency ng byte-level hierarchical network kaysa BPE. 27 Oktubre 2026. https://new.nat6.net/fil/news/ctuk7r4h4qbyyligi680s7gtr/

Tingnan lahat →