TRL führt Delta Weight Sync ein: Übertragung von Gewichtsänderungen über Hub Bucket sinkt pro Schritt von 1,2 GB auf 20–35 MB
Originaltitel:Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
KI-Zusammenfassung
Beim asynchronen Reinforcement Learning muss der Trainer bei jedem Schritt die vollständigen Modellgewichte (z. B. etwa 1 TB für einen 1T-Parameter-Checkpoint) an die Inferenz-Engine übertragen. Ein neuer TRL-PR nutzt die Tatsache, dass etwa 99 % der bf16-Gewichtsbits zwischen benachbarten RL-Optimierungsschritten identisch sind, und kodiert nur die geänderten Gewichte als sparse safetensors-Datei, lädt sie in einen Hugging Face Bucket hoch und benachrichtigt vLLM zum Abruf. Bei Qwen3-0.6B sinkt die Übertragung pro Schritt von 1,2 GB auf 20–35 MB. Das Experiment zeigt zudem ein vollständig getrenntes Trainingsszenario: Trainer, vLLM und Wordle-Umgebung befinden sich auf verschiedenen Maschinen und in verschiedenen Hugging Face Spaces; die Gewichte fließen über einen einzigen Hub-Bucket, ohne gemeinsamen Cluster, RDMA oder VPN.
Kernpunkte
- Beim asynchronen Reinforcement Learning muss der Trainer bei jedem Schritt die vollständigen…
- etwa 1 TB für einen 1T-Parameter-Checkpoint) an die Inferenz-Engine übertragen.
- Ein neuer TRL-PR nutzt die Tatsache,dass etwa 99 % der bf16-Gewichtsbits zwischen benachbarten…
- Bei Qwen3-0.
- 6B sinkt die Übertragung pro Schritt von 1,2 GB auf 20–35 MB.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Tutorials & Tipps
- KI-Bewertung
- 61
异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了,带宽直接省了两个数量级,还给了可运行的TRL分支,做RL训练的可以直接上手试。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: TRL führt Delta Weight Sync ein: Übertragung von Gewichtsänderungen über Hub Bucket sinkt pro Schritt von 1,2 GB auf 20–35 MB. 27. Mai 2026. https://new.nat6.net/de/news/cmpo5j5lm034mslv4qv9h13v8/