Разблокировка обучения с подкреплением агентов GPT-OSS: практический обзор
Оригинальный заголовок:Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective
ИИ-резюме
Команда LinkedIn исследовала возможность использования моделей GPT-OSS в качестве ядра агентных приложений для обучения с подкреплением. Эксперименты показали, что из-за архитектуры смеси экспертов, применяемой в GPT-OSS, в двух прямых проходах могут возникать различия маршрутизации, что приводит к отклонению коэффициента важности выборки, взрыву KL-дивергенции и отсутствию роста награды при on-policy обучении PPO. Команда устранила проблему ключевым исправлением — принудительной установкой старых логарифмических вероятностей равными новым вычисленным значениям (с отсоединением градиента) в on-policy условиях, что обеспечило коэффициент важности выборки, равный 1, и восстановило целостность on-policy обучения PPO. Исправление применимо к моделям GPT-OSS-20B и GPT-OSS-120B.
Ключевые моменты
- Команда LinkedIn исследовала возможность использования моделей GPT-OSS в качестве ядра агентных…
- Эксперименты показали,что из-за архитектуры смеси экспертов,применяемой в GPT-OSS,в двух прямых…
- Команда устранила проблему ключевым исправлением — принудительной установкой старых…
- Исправление применимо к моделям GPT-OSS-20B и GPT-OSS-120B.
Кратко
- Опубликовано
- Обновлено
- Источник
- Hugging Face 社区博客(混合发现)
- Категория
- Другое
- Оценка ИИ
- 83
为MoE模型RL训练提供实用调试方案,提升代理AI开发效率。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Разблокировка обучения с подкреплением агентов GPT-OSS: практический обзор. 27 января 2026. https://new.nat6.net/ru/news/cmoegbhak009rslxxdj1fo3aa/