Membuka pelatihan reinforcement learning agen GPT-OSS: tinjauan praktik
Judul asli:Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective
Ringkasan AI
Tim LinkedIn mengeksplorasi kelayakan menggunakan model GPT-OSS sebagai inti aplikasi agen untuk reinforcement learning. Eksperimen menemukan bahwa arsitektur mixture-of-experts yang digunakan GPT-OSS dapat menghasilkan perbedaan routing pada dua forward pass, menyebabkan rasio importance sampling menyimpang, divergensi KL meledak, dan reward tidak meningkat dalam pelatihan PPO on-policy. Tim mengatasi masalah ini melalui perbaikan kunci—memaksa log probability lama diatur ke nilai yang baru dihitung dalam kondisi on-policy (dan memisahkan gradien)—sehingga rasio importance sampling menjadi 1 dan integritas pelatihan PPO on-policy pulih. Perbaikan ini berlaku untuk model GPT-OSS-20B dan GPT-OSS-120B.
Poin utama
- Tim LinkedIn mengeksplorasi kelayakan menggunakan model GPT-OSS sebagai inti aplikasi agen untuk…
- Eksperimen menemukan bahwa arsitektur mixture-of-experts yang digunakan GPT-OSS dapat menghasilkan…
- Tim mengatasi masalah ini melalui perbaikan kunci—memaksa log probability lama diatur ke nilai…
- Perbaikan ini berlaku untuk model GPT-OSS-20B dan GPT-OSS-120B.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Lainnya
- Skor AI
- 83
为MoE模型RL训练提供实用调试方案,提升代理AI开发效率。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Membuka pelatihan reinforcement learning agen GPT-OSS: tinjauan praktik. 27 Januari 2026. https://new.nat6.net/id/news/cmoegbhak009rslxxdj1fo3aa/