บทแนะนำและเทคนิค

vLLM V0 สู่ V1: ให้ความสำคัญกับความถูกต้องของพฤติกรรมแบ็กเอนด์ในการเรียนรู้แบบเสริมกำลังออนไลน์

หัวข้อต้นฉบับ:vLLM V0 to V1: Correctness Before Corrections in RL

สรุปโดย AI

เพื่อให้ผลการฝึกการเรียนรู้แบบเสริมกำลังออนไลน์หลังการเขียนใหม่ครั้งใหญ่ของ vLLM จาก 0.8.5 เป็น 0.18.1 ตรงกับการรันอ้างอิง V0 ทีมให้ความสำคัญกับการแก้พฤติกรรมแบ็กเอนด์มากกว่าปรับเป้าหมาย RL การแก้ไขหลัก: ตั้งโหมด log probability เป็น `processed_logprobs` ให้ตรงการแจกแจงของ sampler; ปิดค่าเริ่มต้นเฉพาะ V1 อย่าง prefix caching และ async scheduling; ปรับเส้นทางอัปเดตน้ำหนักให้ตรงพฤติกรรมเก็บแคชของ V0; และให้แบ็กเอนด์ rollout ใช้ `lm_head` ความแม่นยำ fp32 ในการฉายภาพสุดท้าย มาตรการเหล่านี้ขจัดอคติค่าเฉลี่ย policy ratio ทำให้ V1 สอดคล้อง V0 ในตัวชี้วัด KL divergence และ entropy

ข้อมูลสำคัญ

  • เพื่อให้ผลการฝึกการเรียนรู้แบบเสริมกำลังออนไลน์หลังการเขียนใหม่ครั้งใหญ่ของ vLLM จาก 0.
  • 1 ตรงกับการรันอ้างอิง V0 ทีมให้ความสำคัญกับการแก้พฤติกรรมแบ็กเอนด์มากกว่าปรับเป้าหมาย RL…
  • ปิดค่าเริ่มต้นเฉพาะ V1 อย่าง prefix caching และ async scheduling
  • ปรับเส้นทางอัปเดตน้ำหนักให้ตรงพฤติกรรมเก็บแคชของ V0
  • และให้แบ็กเอนด์ rollout ใช้ `lm_head` ความแม่นยำ fp32 ในการฉายภาพสุดท้าย…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Hugging Face 社区博客(混合发现)
หมวดหมู่
บทแนะนำและเทคนิค
คะแนน AI
65
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: vLLM V0 สู่ V1: ให้ความสำคัญกับความถูกต้องของพฤติกรรมแบ็กเอนด์ในการเรียนรู้แบบเสริมกำลังออนไลน์ 7 พฤษภาคม 2026 https://new.nat6.net/th/news/cmoug22sy00eeslbajec354qh/

ดูทั้งหมด →