vLLM V0 สู่ V1: ให้ความสำคัญกับความถูกต้องของพฤติกรรมแบ็กเอนด์ในการเรียนรู้แบบเสริมกำลังออนไลน์
หัวข้อต้นฉบับ:vLLM V0 to V1: Correctness Before Corrections in RL
สรุปโดย AI
เพื่อให้ผลการฝึกการเรียนรู้แบบเสริมกำลังออนไลน์หลังการเขียนใหม่ครั้งใหญ่ของ vLLM จาก 0.8.5 เป็น 0.18.1 ตรงกับการรันอ้างอิง V0 ทีมให้ความสำคัญกับการแก้พฤติกรรมแบ็กเอนด์มากกว่าปรับเป้าหมาย RL การแก้ไขหลัก: ตั้งโหมด log probability เป็น `processed_logprobs` ให้ตรงการแจกแจงของ sampler; ปิดค่าเริ่มต้นเฉพาะ V1 อย่าง prefix caching และ async scheduling; ปรับเส้นทางอัปเดตน้ำหนักให้ตรงพฤติกรรมเก็บแคชของ V0; และให้แบ็กเอนด์ rollout ใช้ `lm_head` ความแม่นยำ fp32 ในการฉายภาพสุดท้าย มาตรการเหล่านี้ขจัดอคติค่าเฉลี่ย policy ratio ทำให้ V1 สอดคล้อง V0 ในตัวชี้วัด KL divergence และ entropy
ข้อมูลสำคัญ
- เพื่อให้ผลการฝึกการเรียนรู้แบบเสริมกำลังออนไลน์หลังการเขียนใหม่ครั้งใหญ่ของ vLLM จาก 0.
- 1 ตรงกับการรันอ้างอิง V0 ทีมให้ความสำคัญกับการแก้พฤติกรรมแบ็กเอนด์มากกว่าปรับเป้าหมาย RL…
- ปิดค่าเริ่มต้นเฉพาะ V1 อย่าง prefix caching และ async scheduling
- ปรับเส้นทางอัปเดตน้ำหนักให้ตรงพฤติกรรมเก็บแคชของ V0
- และให้แบ็กเอนด์ rollout ใช้ `lm_head` ความแม่นยำ fp32 ในการฉายภาพสุดท้าย…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Hugging Face 社区博客(混合发现)
- หมวดหมู่
- บทแนะนำและเทคนิค
- คะแนน AI
- 65
vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: vLLM V0 สู่ V1: ให้ความสำคัญกับความถูกต้องของพฤติกรรมแบ็กเอนด์ในการเรียนรู้แบบเสริมกำลังออนไลน์ 7 พฤษภาคม 2026 https://new.nat6.net/th/news/cmoug22sy00eeslbajec354qh/