KPop:用对称二元KL散度解决大模型强化学习的训练推理不一致问题
原文标题:解决大模型的"人格分裂":KPop 如何应对强化学习的训练推理不一致问题
AI 摘要
蚂蚁百灵团队提出KPop方法,应对大模型强化学习中训练与推理引擎概率分布不一致导致的训练崩溃。KPop用对称二元KL散度替代IcePop的固定比值阈值,仅需一个超参数,对稀有token自适应宽容、对高频token严格约束。在Ring-flash-2.0(总参100B)上支撑800+步稳定RL训练,SWE-bench Verified从70.8%提升至76.28%。
关键信息
- 蚂蚁百灵团队提出KPop方法,应对大模型强化学习中训练与推理引擎概率分布不一致导致的训练崩溃。
- KPop用对称二元KL散度替代IcePop的固定比值阈值,仅需一个超参数,对稀有token自适应宽容、对高频token严格约束。
- 在Ring-flash-2.
- 0(总参100B)上支撑800+步稳定RL训练,SWE-bench Verified从70.
- 8%提升至76.
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 68
推荐理由
解释固定屏蔽比为何误杀稀有token,并给出用对称二元KL散度自适应调整的方法,有助于理解RL训练不稳定并指导稳定训练实践。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:KPop:用对称二元KL散度解决大模型强化学习的训练推理不一致问题。2026年6月2日。https://new.nat6.net/news/cmsdu2qga010irofz1h15420q/