Mga Papel at Pananaliksik

Nakamit ng Miles ang end-to-end MXFP8 at per-token NVFP4 reinforcement learning scheme sa Blackwell architecture

Orihinal na pamagat:Blog Towards Blackwell-Native 8-bit and 4-bit RL: End-to-End MXFP8 and NVFP4 RL in Miles TL;DR: We implemented two Blackwell-native RL recipes in Miles: end-to-end MXFP8 and per-token NVFP4 for MoE experts. Both are supported by fine-grained precision control across checkpoint conversion,... Ziang Li, humans& and Miles Team

AI summary

Nakamit ng Miles team sa Blackwell architecture ang dalawang native low-precision reinforcement learning scheme: end-to-end MXFP8 at per-token NVFP4 para sa MoE expert weights. Sa ablation experiment sa Qwen3-30B-A3B gamit ang 8x B200, ang raw reward curves ng BF16 at lahat ng limang low-precision configuration ay halos magkatugma, at ang MXFP8 at NVFP4 ay nagpababa ng inference time.

Mahahalagang impormasyon

  • Nakamit ng Miles team sa Blackwell architecture ang dalawang native low-precision reinforcement…
  • Sa ablation experiment sa Qwen3-30B-A3B gamit ang 8x B200,ang raw reward curves ng BF16 at lahat…
  • at ang MXFP8 at NVFP4 ay nagpababa ng inference time.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
LMSYS Blog
Kategorya
Mga Papel at Pananaliksik
AI na marka
69
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

虽然只针对Blackwell,但这份报告把MXFP8和NVFP4在RL里的实现细节讲清楚了,从量化合约到每token缩放都给了可复现配置,做大规模RL训练的能直接上手。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Nakamit ng Miles ang end-to-end MXFP8 at per-token NVFP4 reinforcement learning scheme sa Blackwell architecture. 29 Hulyo 2026. https://new.nat6.net/fil/news/cms6drkj8001crohzuxf7kfy7/

Tingnan lahat →