อื่น ๆ

ปลดล็อกการฝึก reinforcement learning ของเอเจนต์ GPT-OSS: บททบทวนเชิงปฏิบัติ

หัวข้อต้นฉบับ:Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective

สรุปโดย AI

ทีม LinkedIn สำรวจความเป็นไปได้ในการใช้โมเดล GPT-OSS เป็นแกนหลักของแอปเอเจนต์สำหรับ reinforcement learning การทดลองพบว่าเนื่องจากสถาปัตยกรรม mixture-of-experts ที่ GPT-OSS ใช้ อาจเกิดความแตกต่างในการกำหนดเส้นทางระหว่างการส่งต่อสองครั้ง ส่งผลให้ในการฝึก PPO แบบ on-policy อัตราการสุ่มตัวอย่างสำคัญเบี่ยงเบน KL divergence ระเบิด และรางวัลไม่เพิ่มขึ้น ทีมแก้ไขด้วยการแก้ไขสำคัญจุดเดียว——บังคับให้ตั้งค่าล็อกความน่าจะเป็นเก่าเป็นค่าที่คำนวณใหม่ภายใต้เงื่อนไข on-policy (และแยก梯度) เพื่อให้อัตราการสุ่มตัวอย่างสำคัญเป็น 1 ฟื้นฟูความสมบูรณ์ของการฝึก PPO แบบ on-policy วิธีแก้ไขนี้ใช้ได้กับโมเดล GPT-OSS-20B และ GPT-OSS-120B

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Hugging Face 社区博客(混合发现)
หมวดหมู่
อื่น ๆ
คะแนน AI
83
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

为MoE模型RL训练提供实用调试方案,提升代理AI开发效率。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: ปลดล็อกการฝึก reinforcement learning ของเอเจนต์ GPT-OSS: บททบทวนเชิงปฏิบัติ 27 มกราคม 2026 https://new.nat6.net/th/news/cmoegbhak009rslxxdj1fo3aa/

ดูทั้งหมด →