Miles、BlackwellアーキテクチャでエンドツーエンドMXFP8とトークン単位NVFP4の強化学習手法を実現
原題:Blog Towards Blackwell-Native 8-bit and 4-bit RL: End-to-End MXFP8 and NVFP4 RL in Miles TL;DR: We implemented two Blackwell-native RL recipes in Miles: end-to-end MXFP8 and per-token NVFP4 for MoE experts. Both are supported by fine-grained precision control across checkpoint conversion,... Ziang Li, humans& and Miles Team
AI 要約
MilesチームはBlackwellアーキテクチャ上で、エンドツーエンドMXFP8とMoEエキスパート重みのトークン単位NVFP4という2種類のネイティブロー精度強化学習手法を実現した。8x B200上でのQwen3-30B-A3Bに対するアブレーション実験では、BF16と5種類すべての低精度構成の生報酬曲線が高度に一致し、MXFP8とNVFP4は推論時間を短縮した。
要点
- MilesチームはBlackwellアーキテクチャ上で
- エンドツーエンドMXFP8とMoEエキスパート重みのトークン単位NVFP4という2種類のネイティブロー精度強化学習手法を実現した。
- 8x B200上でのQwen3-30B-A3Bに対するアブレーション実験では、BF16と5種類すべての低精度構成の生報酬曲線が高度に一致し、MXFP8とNVFP4は推論時間を短縮した
概要
- 公開日時
- 更新日時
- 出典
- LMSYS Blog
- カテゴリ
- 論文・研究
- AI スコア
- 69
虽然只针对Blackwell,但这份报告把MXFP8和NVFP4在RL里的实现细节讲清楚了,从量化合约到每token缩放都给了可复现配置,做大规模RL训练的能直接上手。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Miles、BlackwellアーキテクチャでエンドツーエンドMXFP8とトークン単位NVFP4の強化学習手法を実現。2026年7月29日。https://new.nat6.net/ja/news/cms6drkj8001crohzuxf7kfy7/