Miles, Blackwell 아키텍처에서 엔드투엔드 MXFP8 및 토큰별 NVFP4 강화학습 방식 구현
원제목:Blog Towards Blackwell-Native 8-bit and 4-bit RL: End-to-End MXFP8 and NVFP4 RL in Miles TL;DR: We implemented two Blackwell-native RL recipes in Miles: end-to-end MXFP8 and per-token NVFP4 for MoE experts. Both are supported by fine-grained precision control across checkpoint conversion,... Ziang Li, humans& and Miles Team
Miles 팀은 Blackwell 아키텍처에서 두 가지 네이티브 저정밀도 강화학습 방식을 구현했다. 엔드투엔드 MXFP8과 MoE 전문가 가중치의 토큰별 NVFP4다. 8x B200에서 Qwen3-30B-A3B를 대상으로 한 소거 실험에서 BF16과 다섯 가지 저정밀도 구성 모두의 원시 보상 곡선이 높은 일치를 보였으며, MXFP8과 NVFP4는 추론 시간을 단축했다.
핵심 정보
Miles 팀은 Blackwell 아키텍처에서 두 가지 네이티브 저정밀도 강화학습 방식을 구현했다.
엔드투엔드 MXFP8과 MoE 전문가 가중치의 토큰별 NVFP4다.
8x B200에서 Qwen3-30B-A3B를 대상으로 한 소거 실험에서 BF16과 다섯 가지 저정밀도 구성 모두의 원시 보상 곡선이 높은 일치를 보였으며,MXFP8과…