vLLM V0 ke V1: Utamakan ketepatan tingkah laku backend dalam pembelajaran pengukuhan dalam talian
Tajuk asal:vLLM V0 to V1: Correctness Before Corrections in RL
Ringkasan AI
Bagi memastikan keputusan latihan pembelajaran pengukuhan dalam talian selaras dengan larian rujukan V0 selepas penulisan semula besar vLLM daripada 0.8.5 ke 0.18.1, pasukan mengutamakan pembaikan tingkah laku backend berbanding penyesuaian objektif RL. Pembaikan utama termasuk: menetapkan mod log kebarangkalian kepada `processed_logprobs` untuk sepadan dengan taburan pensampel; melumpuhkan nilai lalai masa jalan khusus V1 seperti cache awalan dan penjadualan tak segerak; menyesuaikan laluan kemas kini pemberat untuk sepadan dengan tingkah laku pengekalan cache V0; dan memastikan backend rollout menggunakan `lm_head` berketepatan fp32 untuk unjuran akhir. Langkah-langkah ini menghapuskan sisihan min nisbah polisi, menjadikan V1 selaras dengan V0 dalam metrik seperti perbezaan KL dan entropi.
Maklumat penting
- Bagi memastikan keputusan latihan pembelajaran pengukuhan dalam talian selaras dengan larian…
- 1,pasukan mengutamakan pembaikan tingkah laku backend berbanding penyesuaian objektif RL.
- Pembaikan utama termasuk: menetapkan mod log kebarangkalian kepada `processed_logprobs` untuk…
- melumpuhkan nilai lalai masa jalan khusus V1 seperti cache awalan dan penjadualan tak segerak
- menyesuaikan laluan kemas kini pemberat untuk sepadan dengan tingkah laku pengekalan cache V0
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Tutorial dan petua
- Skor AI
- 65
vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: vLLM V0 ke V1: Utamakan ketepatan tingkah laku backend dalam pembelajaran pengukuhan dalam talian. 7 Mei 2026. https://new.nat6.net/ms/news/cmoug22sy00eeslbajec354qh/