Tutorial dan petua

TRL tambah Delta Weight Sync: hantar perubahan pemberat melalui Hub Bucket, setiap langkah turun daripada 1.2 GB kepada 20–35 MB

Tajuk asal:Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL

Ringkasan AI

Dalam pembelajaran pengukuhan tak segerak, pelatih perlu menghantar pemberat model penuh setiap langkah (contohnya checkpoint 1T parameter kira-kira 1 TB) kepada enjin inferens. TRL menambah PR yang memanfaatkan ciri kira-kira 99% bit pemberat bf16 yang sama antara langkah pengoptimuman RL bersebelahan, dengan hanya mengekod pemberat yang berubah sebagai fail safetensors jarang, memuat naiknya ke Hugging Face Bucket dan memberitahu vLLM untuk mengambilnya. Pada Qwen3-0.6B, penghantaran setiap langkah turun daripada 1.2 GB kepada 20–35 MB. Eksperimen juga menunjukkan senario latihan yang dipisahkan sepenuhnya: pelatih, vLLM dan persekitaran Wordle terletak pada mesin dan Hugging Face Space yang berbeza, pemberat mengalir melalui satu bucket Hub, tanpa perlu kluster dikongsi, RDMA atau VPN.

Maklumat penting

  • Dalam pembelajaran pengukuhan tak segerak,pelatih perlu menghantar pemberat model penuh setiap…
  • TRL menambah PR yang memanfaatkan ciri kira-kira 99% bit pemberat bf16 yang sama antara langkah…
  • Pada Qwen3-0.
  • 6B,penghantaran setiap langkah turun daripada 1.
  • 2 GB kepada 20–35 MB.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Tutorial dan petua
Skor AI
61
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了,带宽直接省了两个数量级,还给了可运行的TRL分支,做RL训练的可以直接上手试。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: TRL tambah Delta Weight Sync: hantar perubahan pemberat melalui Hub Bucket, setiap langkah turun daripada 1.2 GB kepada 20–35 MB. 27 Mei 2026. https://new.nat6.net/ms/news/cmpo5j5lm034mslv4qv9h13v8/

Lihat Semua →