Lainnya

Membuka pelatihan reinforcement learning agen GPT-OSS: tinjauan praktik

Judul asli:Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective

Ringkasan AI

Tim LinkedIn mengeksplorasi kelayakan menggunakan model GPT-OSS sebagai inti aplikasi agen untuk reinforcement learning. Eksperimen menemukan bahwa arsitektur mixture-of-experts yang digunakan GPT-OSS dapat menghasilkan perbedaan routing pada dua forward pass, menyebabkan rasio importance sampling menyimpang, divergensi KL meledak, dan reward tidak meningkat dalam pelatihan PPO on-policy. Tim mengatasi masalah ini melalui perbaikan kunci—memaksa log probability lama diatur ke nilai yang baru dihitung dalam kondisi on-policy (dan memisahkan gradien)—sehingga rasio importance sampling menjadi 1 dan integritas pelatihan PPO on-policy pulih. Perbaikan ini berlaku untuk model GPT-OSS-20B dan GPT-OSS-120B.

Poin utama

  • Tim LinkedIn mengeksplorasi kelayakan menggunakan model GPT-OSS sebagai inti aplikasi agen untuk…
  • Eksperimen menemukan bahwa arsitektur mixture-of-experts yang digunakan GPT-OSS dapat menghasilkan…
  • Tim mengatasi masalah ini melalui perbaikan kunci—memaksa log probability lama diatur ke nilai…
  • Perbaikan ini berlaku untuk model GPT-OSS-20B dan GPT-OSS-120B.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Lainnya
Skor AI
83
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

为MoE模型RL训练提供实用调试方案,提升代理AI开发效率。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Membuka pelatihan reinforcement learning agen GPT-OSS: tinjauan praktik. 27 Januari 2026. https://new.nat6.net/id/news/cmoegbhak009rslxxdj1fo3aa/

Lihat semua →