Другое

Разблокировка обучения с подкреплением агентов GPT-OSS: практический обзор

Оригинальный заголовок:Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective

ИИ-резюме

Команда LinkedIn исследовала возможность использования моделей GPT-OSS в качестве ядра агентных приложений для обучения с подкреплением. Эксперименты показали, что из-за архитектуры смеси экспертов, применяемой в GPT-OSS, в двух прямых проходах могут возникать различия маршрутизации, что приводит к отклонению коэффициента важности выборки, взрыву KL-дивергенции и отсутствию роста награды при on-policy обучении PPO. Команда устранила проблему ключевым исправлением — принудительной установкой старых логарифмических вероятностей равными новым вычисленным значениям (с отсоединением градиента) в on-policy условиях, что обеспечило коэффициент важности выборки, равный 1, и восстановило целостность on-policy обучения PPO. Исправление применимо к моделям GPT-OSS-20B и GPT-OSS-120B.

Ключевые моменты

  • Команда LinkedIn исследовала возможность использования моделей GPT-OSS в качестве ядра агентных…
  • Эксперименты показали,что из-за архитектуры смеси экспертов,применяемой в GPT-OSS,в двух прямых…
  • Команда устранила проблему ключевым исправлением — принудительной установкой старых…
  • Исправление применимо к моделям GPT-OSS-20B и GPT-OSS-120B.

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Другое
Оценка ИИ
83
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

为MoE模型RL训练提供实用调试方案,提升代理AI开发效率。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Разблокировка обучения с подкреплением агентов GPT-OSS: практический обзор. 27 января 2026. https://new.nat6.net/ru/news/cmoegbhak009rslxxdj1fo3aa/

Смотреть все →