Inilabas ng Cartesia ang pananaliksik sa scaling law ng H-Net: hanggang 3-5x na pagbuti sa compute efficiency ng byte-level hierarchical network kaysa BPE
Orihinal na pamagat:From Tokens to Bytes I: Scaling Hierarchical Networks
AI summary
Inilabas ng Cartesia ang unang bahagi ng serye ng blog, na nag-uulat ng resulta ng scaling law ng hierarchical network (H-Net) nito sa byte-level language modeling: kumpara sa mahigpit na tugmang BPE Transformer, nakatipid ang 1-stage H-Net ng 1.28x compute sa validation loss, humigit-kumulang 2x sa downstream evaluation, 2.04x na median sa mga coding task, at 3.10x na median sa out-of-distribution programming language (halimbawa 5.37x sa Prolog).
Mahahalagang impormasyon
- Inilabas ng Cartesia ang unang bahagi ng serye ng blog,na nag-uulat ng resulta ng scaling law ng…
- 28x compute sa validation loss,humigit-kumulang 2x sa downstream evaluation,2.
- 04x na median sa mga coding task,at 3.
- 10x na median sa out-of-distribution programming language (halimbawa 5.
- 37x sa Prolog).
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Cartesia 产品与研究
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 60
Cartesia 原创研究给出 H-Net 替代 BPE 分词的对照实验与 3-5x 计算效率数据,可了解字节级学习的实际进展。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Inilabas ng Cartesia ang pananaliksik sa scaling law ng H-Net: hanggang 3-5x na pagbuti sa compute efficiency ng byte-level hierarchical network kaysa BPE. 27 Oktubre 2026. https://new.nat6.net/fil/news/ctuk7r4h4qbyyligi680s7gtr/