Tutorial & Tips

TRL menambahkan Delta Weight Sync: mentransfer perubahan bobot melalui Hub Bucket, per langkah turun dari 1,2 GB menjadi 20–35 MB

Judul asli:Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL

Ringkasan AI

Dalam pembelajaran penguatan asinkron, pelatih setiap langkah perlu mentransfer bobot model lengkap (misalnya checkpoint 1T parameter sekitar 1 TB) ke mesin inferensi. PR baru TRL memanfaatkan fakta bahwa sekitar 99% bit bobot bf16 antara langkah optimasi RL yang berdekatan tetap sama, hanya mengodekan bobot yang berubah sebagai file safetensors renggang, mengunggahnya ke Hugging Face Bucket, dan memberi tahu vLLM untuk mengambilnya. Pada Qwen3-0.6B, transfer per langkah turun dari 1,2 GB menjadi 20–35 MB. Eksperimen juga menunjukkan skenario pelatihan yang sepenuhnya terpisah: pelatih, vLLM, dan lingkungan Wordle berada di mesin berbeda dan Hugging Face Space, dengan bobot mengalir melalui satu bucket Hub, tanpa perlu klaster bersama, RDMA, atau VPN.

Poin utama

  • Dalam pembelajaran penguatan asinkron,pelatih setiap langkah perlu mentransfer bobot model lengkap…
  • PR baru TRL memanfaatkan fakta bahwa sekitar 99% bit bobot bf16 antara langkah optimasi RL yang…
  • Pada Qwen3-0.
  • 6B,transfer per langkah turun dari 1,2 GB menjadi 20–35 MB.
  • Eksperimen juga menunjukkan skenario pelatihan yang sepenuhnya terpisah: pelatih,vLLM,dan…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Tutorial & Tips
Skor AI
61
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了,带宽直接省了两个数量级,还给了可运行的TRL分支,做RL训练的可以直接上手试。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: TRL menambahkan Delta Weight Sync: mentransfer perubahan bobot melalui Hub Bucket, per langkah turun dari 1,2 GB menjadi 20–35 MB. 27 Mei 2026. https://new.nat6.net/id/news/cmpo5j5lm034mslv4qv9h13v8/

Lihat semua →