DeepSeek-V4 Flash ฝึกการเรียนรู้แบบเสริมกำลังบน AMD Instinct MI355X GPU รองรับโดยเฟรมเวิร์ก Miles
หัวข้อต้นฉบับ:News Bringing DeepSeek-V4 Flash RL Training to AMD Instinct MI355X GPUs with Miles DeepSeek-V4 RL is now supported in Miles on AMD Instinct™ MI355X GPUs with ROCm™! RL requires SGLang rollout and Megatron training to implement the same policy closely enough that token probabilities ... AMD & Miles Team
สรุปโดย AI
การฝึกการเรียนรู้แบบเสริมกำลังของ DeepSeek-V4 Flash ขณะนี้ได้รับการรองรับบน AMD Instinct MI355X GPU ผ่านเฟรมเวิร์ก Miles โดยทำงานบนสแต็กซอฟต์แวร์ ROCm โมเดล MoE ขนาด 2.84 แสนล้านพารามิเตอร์นี้ (เปิดใช้งาน 1.3 หมื่นล้านพารามิเตอร์ต่อโทเคน) ต้องใช้ SGLang สำหรับการสร้าง rollout และ Megatron สำหรับการอัปเดตนโยบาย โดย Miles รับผิดชอบลูปแบบอะซิงโครนัสและการซิงค์น้ำหนัก ทีมงานแก้ไขความท้าทายสามประการ ได้แก่ การจัดแนวโมเดลระหว่าง SGLang กับ Megatron การอัปเดตสถานะควอนไทเซชันแบบออนไลน์ และความเสถียรของการประมวลผลแบบขนานหลายโหนด และในที่สุดก็เสร็จสิ้นการตรวจสอบแบบ end-to-end บนสี่โหนดแปด GPU: มากกว่า 100 ขั้นตอนการปรับแต่งค่า ความแตกต่างของ log probability ระหว่างการฝึกและการ rollout อยู่ในระดับควบคุมได้ รางวัลออนไลน์เพิ่มขึ้นอย่างต่อเนื่อง และคะแนน基準 AIME-2024 แบบออฟไลน์ก็เพิ่มขึ้นตามกัน
ข้อมูลสำคัญ
- การฝึกการเรียนรู้แบบเสริมกำลังของ DeepSeek-V4 Flash ขณะนี้ได้รับการรองรับบน AMD Instinct MI355X…
- 84 แสนล้านพารามิเตอร์นี้ (เปิดใช้งาน 1.
- 3 หมื่นล้านพารามิเตอร์ต่อโทเคน) ต้องใช้ SGLang สำหรับการสร้าง rollout และ Megatron สำหรับการอัปเดตน…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- LMSYS Blog
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 61
把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: DeepSeek-V4 Flash ฝึกการเรียนรู้แบบเสริมกำลังบน AMD Instinct MI355X GPU รองรับโดยเฟรมเวิร์ก Miles 10 กรกฎาคม 2026 https://new.nat6.net/th/news/cmrf7a5kg000wihpr80vvnaxn/