vLLM V0 đến V1: ưu tiên đảm bảo tính đúng đắn của hành vi backend trong học tăng cường trực tuyến
Tiêu đề gốc:vLLM V0 to V1: Correctness Before Corrections in RL
Tóm tắt AI
Để đảm bảo sau khi vLLM viết lại lớn từ 0.8.5 lên 0.18.1, kết quả huấn luyện học tăng cường trực tuyến nhất quán với lần chạy tham chiếu V0, nhóm ưu tiên sửa hành vi backend thay vì điều chỉnh mục tiêu RL. Các sửa chữa chính gồm: đặt chế độ log probability thành `processed_logprobs` để khớp phân phối của sampler; vô hiệu hóa các giá trị mặc định runtime đặc thù của V1 như prefix caching và lập lịch bất đồng bộ; điều chỉnh đường cập nhật trọng số để khớp hành vi giữ cache của V0; và đảm bảo backend rollout dùng `lm_head` độ chính xác fp32 cho phép chiếu cuối. Các biện pháp này loại bỏ độ lệch trung bình tỷ lệ chính sách, giúp V1 đạt nhất quán với V0 về KL divergence, entropy và các chỉ số khác.
Thông tin chính
- Để đảm bảo sau khi vLLM viết lại lớn từ 0.
- 1,kết quả huấn luyện học tăng cường trực tuyến nhất quán với lần chạy tham chiếu V0,nhóm ưu tiên…
- Các sửa chữa chính gồm: đặt chế độ log probability thành `processed_logprobs` để khớp phân phối…
- vô hiệu hóa các giá trị mặc định runtime đặc thù của V1 như prefix caching và lập lịch bất đồng bộ
- điều chỉnh đường cập nhật trọng số để khớp hành vi giữ cache của V0
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- Hugging Face 社区博客(混合发现)
- Danh mục
- Hướng dẫn & mẹo
- Điểm AI
- 65
vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: vLLM V0 đến V1: ưu tiên đảm bảo tính đúng đắn của hành vi backend trong học tăng cường trực tuyến. 7 tháng 5 2026. https://new.nat6.net/vi/news/cmoug22sy00eeslbajec354qh/