TRL tambah Delta Weight Sync: hantar perubahan pemberat melalui Hub Bucket, setiap langkah turun daripada 1.2 GB kepada 20–35 MB
Tajuk asal:Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
Ringkasan AI
Dalam pembelajaran pengukuhan tak segerak, pelatih perlu menghantar pemberat model penuh setiap langkah (contohnya checkpoint 1T parameter kira-kira 1 TB) kepada enjin inferens. TRL menambah PR yang memanfaatkan ciri kira-kira 99% bit pemberat bf16 yang sama antara langkah pengoptimuman RL bersebelahan, dengan hanya mengekod pemberat yang berubah sebagai fail safetensors jarang, memuat naiknya ke Hugging Face Bucket dan memberitahu vLLM untuk mengambilnya. Pada Qwen3-0.6B, penghantaran setiap langkah turun daripada 1.2 GB kepada 20–35 MB. Eksperimen juga menunjukkan senario latihan yang dipisahkan sepenuhnya: pelatih, vLLM dan persekitaran Wordle terletak pada mesin dan Hugging Face Space yang berbeza, pemberat mengalir melalui satu bucket Hub, tanpa perlu kluster dikongsi, RDMA atau VPN.
Maklumat penting
- Dalam pembelajaran pengukuhan tak segerak,pelatih perlu menghantar pemberat model penuh setiap…
- TRL menambah PR yang memanfaatkan ciri kira-kira 99% bit pemberat bf16 yang sama antara langkah…
- Pada Qwen3-0.
- 6B,penghantaran setiap langkah turun daripada 1.
- 2 GB kepada 20–35 MB.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Tutorial dan petua
- Skor AI
- 61
异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了,带宽直接省了两个数量级,还给了可运行的TRL分支,做RL训练的可以直接上手试。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: TRL tambah Delta Weight Sync: hantar perubahan pemberat melalui Hub Bucket, setiap langkah turun daripada 1.2 GB kepada 20–35 MB. 27 Mei 2026. https://new.nat6.net/ms/news/cmpo5j5lm034mslv4qv9h13v8/