Sonstiges

Intelligentes Reinforcement-Learning-Training für GPT-OSS entschlüsselt: ein Praxisrückblick

Originaltitel:Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective

KI-Zusammenfassung

Das LinkedIn-Team untersuchte die Machbarkeit von Reinforcement Learning mit GPT-OSS-Modellen als Kern von Agenten-Anwendungen. Experimente zeigten, dass die von GPT-OSS verwendete Mixture-of-Experts-Architektur bei zwei Vorwärtsdurchläufen Routing-Unterschiede erzeugen kann, was beim On-Policy-PPO-Training zu Abweichungen des Importance-Sampling-Verhältnisses, explodierender KL-Divergenz und ausbleibendem Reward-Wachstum führt. Mit einer entscheidenden Korrektur – unter On-Policy-Bedingungen werden die alten Log-Wahrscheinlichkeiten zwangsweise auf die neu berechneten Werte gesetzt (bei getrennten Gradienten) – wurde ein Importance-Sampling-Verhältnis von 1 sichergestellt und die Integrität des On-Policy-PPO-Trainings wiederhergestellt. Die Korrektur eignet sich für die Modelle GPT-OSS-20B und GPT-OSS-120B.

Kernpunkte

  • Das LinkedIn-Team untersuchte die Machbarkeit von Reinforcement Learning mit GPT-OSS-Modellen als…
  • Experimente zeigten,dass die von GPT-OSS verwendete Mixture-of-Experts-Architektur bei zwei…
  • Mit einer entscheidenden Korrektur – unter On-Policy-Bedingungen werden die alten…
  • Die Korrektur eignet sich für die Modelle GPT-OSS-20B und GPT-OSS-120B.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Hugging Face 社区博客(混合发现)
Kategorie
Sonstiges
KI-Bewertung
83
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

为MoE模型RL训练提供实用调试方案,提升代理AI开发效率。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Intelligentes Reinforcement-Learning-Training für GPT-OSS entschlüsselt: ein Praxisrückblick. 27. Januar 2026. https://new.nat6.net/de/news/cmoegbhak009rslxxdj1fo3aa/

Alle ansehen →