DeepSeek-V4 Flash huấn luyện học tăng cường trên GPU AMD Instinct MI355X, hỗ trợ bởi khung Miles
Tiêu đề gốc:News Bringing DeepSeek-V4 Flash RL Training to AMD Instinct MI355X GPUs with Miles DeepSeek-V4 RL is now supported in Miles on AMD Instinct™ MI355X GPUs with ROCm™! RL requires SGLang rollout and Megatron training to implement the same policy closely enough that token probabilities ... AMD & Miles Team
Tóm tắt AI
Huấn luyện học tăng cường của DeepSeek-V4 Flash hiện đã được hỗ trợ trên GPU AMD Instinct MI355X thông qua khung Miles, chạy trên nền tảng phần mềm ROCm. Mô hình MoE 284 tỷ tham số này (kích hoạt 13 tỷ tham số mỗi token) cần SGLang để sinh rollout, Megatron để cập nhật chính sách, Miles phụ trách vòng lặp bất đồng bộ và đồng bộ trọng số. Nhóm đã giải quyết ba thách thức lớn: căn chỉnh mô hình giữa SGLang và Megatron, cập nhật trực tuyến trạng thái lượng tử hóa và độ ổn định song song đa nút, cuối cùng hoàn thành xác minh đầu-cuối trên bốn nút tám GPU: qua hơn 100 bước tối ưu hóa, chênh lệch log xác suất huấn luyện-rollout trong tầm kiểm soát, phần thưởng trực tuyến liên tục tăng, điểm chuẩn AIME-2024 ngoại tuyến cũng tăng theo.
Thông tin chính
- Huấn luyện học tăng cường của DeepSeek-V4 Flash hiện đã được hỗ trợ trên GPU AMD Instinct MI355X…
- Mô hình MoE 284 tỷ tham số này (kích hoạt 13 tỷ tham số mỗi token) cần SGLang để sinh…
- Nhóm đã giải quyết ba thách thức lớn: căn chỉnh mô hình giữa SGLang và Megatron,cập nhật trực…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- LMSYS Blog
- Danh mục
- Bài báo & nghiên cứu
- Điểm AI
- 61
把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: DeepSeek-V4 Flash huấn luyện học tăng cường trên GPU AMD Instinct MI355X, hỗ trợ bởi khung Miles. 10 tháng 7 2026. https://new.nat6.net/vi/news/cmrf7a5kg000wihpr80vvnaxn/