Tutorial & Tips

Hugging Face Menjalankan GRPO Asinkron di HF Jobs dengan LoRA dan Storage Bucket, Tanpa NCCL dan 3,9 Kali Lebih Cepat

Judul asli:Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL

Ringkasan AI

Hugging Face mendukung pelatihan dan sinkronisasi LoRA adapter saja di AsyncGRPOTrainer pada TRL v1.14, dipadukan dengan pemasangan Storage Bucket dan perutean proxy, sehingga Job pelatihan dan Job inferensi vLLM berjalan di mesin berbeda tanpa memerlukan NCCL.

Poin utama

  • Hugging Face mendukung pelatihan dan sinkronisasi LoRA adapter saja di AsyncGRPOTrainer pada TRL v1.
  • dipadukan dengan pemasangan Storage Bucket dan perutean proxy
  • sehingga Job pelatihan dan Job inferensi vLLM berjalan di mesin berbeda tanpa memerlukan NCCL.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Tutorial & Tips
Skor AI
61
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

Hugging Face 官方用五个实验展示了如何在 Jobs 上分离训练与推理跑异步 GRPO,并通过逐项定位瓶颈把运行提速 3.9 倍,方法可迁移。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Hugging Face Menjalankan GRPO Asinkron di HF Jobs dengan LoRA dan Storage Bucket, Tanpa NCCL dan 3,9 Kali Lebih Cepat. 10 September 2026. https://new.nat6.net/id/news/cmu10mxhc08m6ro2nafd8smam/

Lihat semua →