Bài báo & nghiên cứu

DeepSeek-V4 Flash huấn luyện học tăng cường trên GPU AMD Instinct MI355X, hỗ trợ bởi khung Miles

Tiêu đề gốc:News Bringing DeepSeek-V4 Flash RL Training to AMD Instinct MI355X GPUs with Miles DeepSeek-V4 RL is now supported in Miles on AMD Instinct™ MI355X GPUs with ROCm™! RL requires SGLang rollout and Megatron training to implement the same policy closely enough that token probabilities ... AMD & Miles Team

Tóm tắt AI

Huấn luyện học tăng cường của DeepSeek-V4 Flash hiện đã được hỗ trợ trên GPU AMD Instinct MI355X thông qua khung Miles, chạy trên nền tảng phần mềm ROCm. Mô hình MoE 284 tỷ tham số này (kích hoạt 13 tỷ tham số mỗi token) cần SGLang để sinh rollout, Megatron để cập nhật chính sách, Miles phụ trách vòng lặp bất đồng bộ và đồng bộ trọng số. Nhóm đã giải quyết ba thách thức lớn: căn chỉnh mô hình giữa SGLang và Megatron, cập nhật trực tuyến trạng thái lượng tử hóa và độ ổn định song song đa nút, cuối cùng hoàn thành xác minh đầu-cuối trên bốn nút tám GPU: qua hơn 100 bước tối ưu hóa, chênh lệch log xác suất huấn luyện-rollout trong tầm kiểm soát, phần thưởng trực tuyến liên tục tăng, điểm chuẩn AIME-2024 ngoại tuyến cũng tăng theo.

Thông tin chính

  • Huấn luyện học tăng cường của DeepSeek-V4 Flash hiện đã được hỗ trợ trên GPU AMD Instinct MI355X…
  • Mô hình MoE 284 tỷ tham số này (kích hoạt 13 tỷ tham số mỗi token) cần SGLang để sinh…
  • Nhóm đã giải quyết ba thách thức lớn: căn chỉnh mô hình giữa SGLang và Megatron,cập nhật trực…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
LMSYS Blog
Danh mục
Bài báo & nghiên cứu
Điểm AI
61
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: DeepSeek-V4 Flash huấn luyện học tăng cường trên GPU AMD Instinct MI355X, hỗ trợ bởi khung Miles. 10 tháng 7 2026. https://new.nat6.net/vi/news/cmrf7a5kg000wihpr80vvnaxn/

Xem tất cả →