論文・研究

Miles、BlackwellアーキテクチャでエンドツーエンドMXFP8とトークン単位NVFP4の強化学習手法を実現

原題:Blog Towards Blackwell-Native 8-bit and 4-bit RL: End-to-End MXFP8 and NVFP4 RL in Miles TL;DR: We implemented two Blackwell-native RL recipes in Miles: end-to-end MXFP8 and per-token NVFP4 for MoE experts. Both are supported by fine-grained precision control across checkpoint conversion,... Ziang Li, humans& and Miles Team

AI 要約

MilesチームはBlackwellアーキテクチャ上で、エンドツーエンドMXFP8とMoEエキスパート重みのトークン単位NVFP4という2種類のネイティブロー精度強化学習手法を実現した。8x B200上でのQwen3-30B-A3Bに対するアブレーション実験では、BF16と5種類すべての低精度構成の生報酬曲線が高度に一致し、MXFP8とNVFP4は推論時間を短縮した。

要点

  • MilesチームはBlackwellアーキテクチャ上で
  • エンドツーエンドMXFP8とMoEエキスパート重みのトークン単位NVFP4という2種類のネイティブロー精度強化学習手法を実現した。
  • 8x B200上でのQwen3-30B-A3Bに対するアブレーション実験では、BF16と5種類すべての低精度構成の生報酬曲線が高度に一致し、MXFP8とNVFP4は推論時間を短縮した

概要

公開日時
更新日時
出典
LMSYS Blog
カテゴリ
論文・研究
AI スコア
69
原文を読む 情報源で全文を読む
おすすめの理由

虽然只针对Blackwell,但这份报告把MXFP8和NVFP4在RL里的实现细节讲清楚了,从量化合约到每token缩放都给了可复现配置,做大规模RL训练的能直接上手。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Miles、BlackwellアーキテクチャでエンドツーエンドMXFP8とトークン単位NVFP4の強化学習手法を実現。2026年7月29日。https://new.nat6.net/ja/news/cms6drkj8001crohzuxf7kfy7/

すべて見る →