Tutorial dan petua

vLLM V0 ke V1: Utamakan ketepatan tingkah laku backend dalam pembelajaran pengukuhan dalam talian

Tajuk asal:vLLM V0 to V1: Correctness Before Corrections in RL

Ringkasan AI

Bagi memastikan keputusan latihan pembelajaran pengukuhan dalam talian selaras dengan larian rujukan V0 selepas penulisan semula besar vLLM daripada 0.8.5 ke 0.18.1, pasukan mengutamakan pembaikan tingkah laku backend berbanding penyesuaian objektif RL. Pembaikan utama termasuk: menetapkan mod log kebarangkalian kepada `processed_logprobs` untuk sepadan dengan taburan pensampel; melumpuhkan nilai lalai masa jalan khusus V1 seperti cache awalan dan penjadualan tak segerak; menyesuaikan laluan kemas kini pemberat untuk sepadan dengan tingkah laku pengekalan cache V0; dan memastikan backend rollout menggunakan `lm_head` berketepatan fp32 untuk unjuran akhir. Langkah-langkah ini menghapuskan sisihan min nisbah polisi, menjadikan V1 selaras dengan V0 dalam metrik seperti perbezaan KL dan entropi.

Maklumat penting

  • Bagi memastikan keputusan latihan pembelajaran pengukuhan dalam talian selaras dengan larian…
  • 1,pasukan mengutamakan pembaikan tingkah laku backend berbanding penyesuaian objektif RL.
  • Pembaikan utama termasuk: menetapkan mod log kebarangkalian kepada `processed_logprobs` untuk…
  • melumpuhkan nilai lalai masa jalan khusus V1 seperti cache awalan dan penjadualan tak segerak
  • menyesuaikan laluan kemas kini pemberat untuk sepadan dengan tingkah laku pengekalan cache V0

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Tutorial dan petua
Skor AI
65
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: vLLM V0 ke V1: Utamakan ketepatan tingkah laku backend dalam pembelajaran pengukuhan dalam talian. 7 Mei 2026. https://new.nat6.net/ms/news/cmoug22sy00eeslbajec354qh/

Lihat Semua →