Mga Tutorial at Tip

Nagdagdag ang TRL ng Delta Weight Sync: pagpapadala ng weight changes sa pamamagitan ng Hub Bucket, bawat hakbang mula 1.2 GB bumaba sa 20–35 MB

Orihinal na pamagat:Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL

AI summary

Sa asynchronous reinforcement learning, kailangang ipadala ng trainer sa bawat hakbang ang buong model weights (halimbawa, ang 1T parameter checkpoint ay humigit-kumulang 1 TB) sa inference engine. Nagdagdag ang TRL ng PR na gumagamit ng katangian na humigit-kumulang 99% ng bf16 weight bits ay pareho sa pagitan ng magkakalapit na RL optimization steps, at ini-encode lamang ang mga nagbago na weight bilang sparse safetensors file, ini-upload sa Hugging Face Bucket at ipinapaalam sa vLLM na kunin ito. Sa Qwen3-0.6B, ang bawat hakbang na transmission ay bumaba mula 1.2 GB sa 20–35 MB. Ipinakita rin ng eksperimento ang ganap na hiwalay na training scenario: ang trainer, vLLM at Wordle environment ay nasa magkaibang machine at Hugging Face Space, at ang weights ay dumadaloy sa isang Hub bucket, walang kailangang shared cluster, RDMA o VPN.

Mahahalagang impormasyon

  • Sa asynchronous reinforcement learning,kailangang ipadala ng trainer sa bawat hakbang ang buong…
  • Nagdagdag ang TRL ng PR na gumagamit ng katangian na humigit-kumulang 99% ng bf16 weight bits ay…
  • Sa Qwen3-0.
  • 6B,ang bawat hakbang na transmission ay bumaba mula 1.
  • 2 GB sa 20–35 MB.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Hugging Face 社区博客(混合发现)
Kategorya
Mga Tutorial at Tip
AI na marka
61
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了,带宽直接省了两个数量级,还给了可运行的TRL分支,做RL训练的可以直接上手试。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Nagdagdag ang TRL ng Delta Weight Sync: pagpapadala ng weight changes sa pamamagitan ng Hub Bucket, bawat hakbang mula 1.2 GB bumaba sa 20–35 MB. 27 Mayo 2026. https://new.nat6.net/fil/news/cmpo5j5lm034mslv4qv9h13v8/

Tingnan lahat →