Kertas penyelidikan

Miles capai penyelesaian pembelajaran pengukuhan MXFP8 hujung ke hujung dan NVFP4 setiap token pada seni bina Blackwell

Tajuk asal:Blog Towards Blackwell-Native 8-bit and 4-bit RL: End-to-End MXFP8 and NVFP4 RL in Miles TL;DR: We implemented two Blackwell-native RL recipes in Miles: end-to-end MXFP8 and per-token NVFP4 for MoE experts. Both are supported by fine-grained precision control across checkpoint conversion,... Ziang Li, humans& and Miles Team

Ringkasan AI

Pasukan Miles mencapai dua penyelesaian pembelajaran pengukuhan ketepatan rendah asli pada seni bina Blackwell: MXFP8 hujung ke hujung dan NVFP4 setiap token bagi pemberat pakar MoE. Dalam eksperimen ablasi Qwen3-30B-A3B pada 8x B200, keluk ganjaran mentah BF16 dan kelima-lima konfigurasi ketepatan rendah bertindih tinggi, dan MXFP8 serta NVFP4 mengurangkan masa penaakulan.

Maklumat penting

  • Pasukan Miles mencapai dua penyelesaian pembelajaran pengukuhan ketepatan rendah asli pada seni…
  • Dalam eksperimen ablasi Qwen3-30B-A3B pada 8x B200,keluk ganjaran mentah BF16 dan kelima-lima…
  • dan MXFP8 serta NVFP4 mengurangkan masa penaakulan.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
LMSYS Blog
Kategori
Kertas penyelidikan
Skor AI
69
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

虽然只针对Blackwell,但这份报告把MXFP8和NVFP4在RL里的实现细节讲清楚了,从量化合约到每token缩放都给了可复现配置,做大规模RL训练的能直接上手。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Miles capai penyelesaian pembelajaran pengukuhan MXFP8 hujung ke hujung dan NVFP4 setiap token pada seni bina Blackwell. 29 Julai 2026. https://new.nat6.net/ms/news/cms6drkj8001crohzuxf7kfy7/

Lihat Semua →