Papers & Forschung

Miles realisiert End-to-End-MXFP8 und Token-weises NVFP4 für Reinforcement Learning auf Blackwell-Architektur

Originaltitel:Blog Towards Blackwell-Native 8-bit and 4-bit RL: End-to-End MXFP8 and NVFP4 RL in Miles TL;DR: We implemented two Blackwell-native RL recipes in Miles: end-to-end MXFP8 and per-token NVFP4 for MoE experts. Both are supported by fine-grained precision control across checkpoint conversion,... Ziang Li, humans& and Miles Team

KI-Zusammenfassung

Das Miles-Team hat auf der Blackwell-Architektur zwei native Low-Precision-Reinforcement-Learning-Ansätze implementiert: End-to-End-MXFP8 und Token-weises NVFP4 für MoE-Expertengewichte. In Ablationsexperimenten mit Qwen3-30B-A3B auf 8x B200 deckten sich die ursprünglichen Reward-Kurven von BF16 und allen fünf Low-Precision-Konfigurationen weitgehend, und MXFP8 sowie NVFP4 verkürzten die Inferenzzeit.

Kernpunkte

  • Das Miles-Team hat auf der Blackwell-Architektur zwei native…
  • In Ablationsexperimenten mit Qwen3-30B-A3B auf 8x B200 deckten sich die ursprünglichen…
  • und MXFP8 sowie NVFP4 verkürzten die Inferenzzeit.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
LMSYS Blog
Kategorie
Papers & Forschung
KI-Bewertung
69
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

虽然只针对Blackwell,但这份报告把MXFP8和NVFP4在RL里的实现细节讲清楚了,从量化合约到每token缩放都给了可复现配置,做大规模RL训练的能直接上手。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Miles realisiert End-to-End-MXFP8 und Token-weises NVFP4 für Reinforcement Learning auf Blackwell-Architektur. 29. Juli 2026. https://new.nat6.net/de/news/cms6drkj8001crohzuxf7kfy7/

Alle ansehen →