KPop: симметричная бинарная KL-дивергенция устраняет расхождение обучения и вывода в RL больших моделей
Оригинальный заголовок:解决大模型的"人格分裂":KPop 如何应对强化学习的训练推理不一致问题
ИИ-резюме
Команда Ant Bailing предложила метод KPop для борьбы с крахом обучения из-за несовпадения распределений вероятностей движков обучения и вывода в RL больших моделей. KPop заменяет фиксированный порог отношения в IcePop симметричной бинарной KL-дивергенцией и требует лишь одного гиперпараметра, адаптивно допуская редкие токены и строго ограничивая частые. На Ring-flash-2.0 (100B общих параметров) он обеспечил стабильное RL-обучение более 800 шагов, а SWE-bench Verified вырос с 70,8% до 76,28%.
Ключевые моменты
- Команда Ant Bailing предложила метод KPop для борьбы с крахом обучения из-за несовпадения…
- KPop заменяет фиксированный порог отношения в IcePop симметричной бинарной KL-дивергенцией и…
- На Ring-flash-2.
- 0 (100B общих параметров) он обеспечил стабильное RL-обучение более 800 шагов,а SWE-bench Verified…
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:蚂蚁百灵(Ling)
- Категория
- Статьи и исследования
- Оценка ИИ
- 68
解释固定屏蔽比为何误杀稀有token,并给出用对称二元KL散度自适应调整的方法,有助于理解RL训练不稳定并指导稳定训练实践。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: KPop: симметричная бинарная KL-дивергенция устраняет расхождение обучения и вывода в RL больших моделей. 2 июня 2026. https://new.nat6.net/ru/news/cmsdu2qga010irofz1h15420q/