Tutorial & Tips

vLLM V0 ke V1: memprioritaskan kebenaran perilaku backend dalam pembelajaran penguatan online

Judul asli:vLLM V0 to V1: Correctness Before Corrections in RL

Ringkasan AI

Untuk memastikan hasil pelatihan pembelajaran penguatan online setelah penulisan ulang besar vLLM dari 0.8.5 ke 0.18.1 konsisten dengan eksekusi referensi V0, tim memprioritaskan perbaikan perilaku backend alih-alih menyesuaikan tujuan RL. Perbaikan utama meliputi: menetapkan mode log probabilitas ke `processed_logprobs` agar sesuai dengan distribusi sampler; menonaktifkan nilai default runtime khusus V1 seperti prefix caching dan penjadwalan asinkron; menyesuaikan jalur pembaruan bobot agar sesuai dengan perilaku retensi cache V0; serta memastikan backend rollout menggunakan `lm_head` berpresisi fp32 untuk proyeksi akhir. Langkah-langkah ini menghilangkan bias rata-rata rasio kebijakan, sehingga V1 mencapai konsistensi dengan V0 pada metrik seperti divergensi KL dan entropi.

Poin utama

  • Untuk memastikan hasil pelatihan pembelajaran penguatan online setelah penulisan ulang besar vLLM…
  • 1 konsisten dengan eksekusi referensi V0,tim memprioritaskan perbaikan perilaku backend alih-alih…
  • Perbaikan utama meliputi: menetapkan mode log probabilitas ke `processed_logprobs` agar sesuai…
  • menonaktifkan nilai default runtime khusus V1 seperti prefix caching dan penjadwalan asinkron
  • menyesuaikan jalur pembaruan bobot agar sesuai dengan perilaku retensi cache V0

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Tutorial & Tips
Skor AI
65
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: vLLM V0 ke V1: memprioritaskan kebenaran perilaku backend dalam pembelajaran penguatan online. 7 Mei 2026. https://new.nat6.net/id/news/cmoug22sy00eeslbajec354qh/

Lihat semua →