Hướng dẫn & mẹo

TRL bổ sung Delta Weight Sync: truyền thay đổi trọng số qua Hub Bucket, mỗi bước giảm từ 1,2 GB xuống 20–35 MB

Tiêu đề gốc:Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL

Tóm tắt AI

Trong học tăng cường bất đồng bộ, mỗi bước huấn luyện cần truyền toàn bộ trọng số mô hình (ví dụ checkpoint 1T tham số khoảng 1 TB) cho động cơ suy luận. TRL bổ sung PR tận dụng đặc điểm khoảng 99% bit trọng số bf16 giữa các bước tối ưu RL liên tiếp giống nhau, chỉ mã hóa phần trọng số thay đổi thành tệp safetensors thưa, tải lên Hugging Face Bucket và thông báo cho vLLM lấy về. Trên Qwen3-0.6B, mỗi bước truyền giảm từ 1,2 GB xuống 20–35 MB. Thí nghiệm cũng trình bày kịch bản tách hoàn toàn: bộ huấn luyện, vLLM và môi trường Wordle nằm trên các máy khác nhau và Hugging Face Space, trọng số chảy qua một Hub bucket duy nhất, không cần cụm chia sẻ, RDMA hay VPN.

Thông tin chính

  • Trong học tăng cường bất đồng bộ,mỗi bước huấn luyện cần truyền toàn bộ trọng số mô hình (ví dụ…
  • TRL bổ sung PR tận dụng đặc điểm khoảng 99% bit trọng số bf16 giữa các bước tối ưu RL liên tiếp…
  • Trên Qwen3-0.
  • 6B,mỗi bước truyền giảm từ 1,2 GB xuống 20–35 MB.
  • Thí nghiệm cũng trình bày kịch bản tách hoàn toàn: bộ huấn luyện,vLLM và môi trường Wordle nằm…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Hugging Face 社区博客(混合发现)
Danh mục
Hướng dẫn & mẹo
Điểm AI
61
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了,带宽直接省了两个数量级,还给了可运行的TRL分支,做RL训练的可以直接上手试。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: TRL bổ sung Delta Weight Sync: truyền thay đổi trọng số qua Hub Bucket, mỗi bước giảm từ 1,2 GB xuống 20–35 MB. 27 tháng 5 2026. https://new.nat6.net/vi/news/cmpo5j5lm034mslv4qv9h13v8/

Xem tất cả →