KPop: paglutas sa training-inference inconsistency ng large model reinforcement learning gamit ang symmetric binary KL divergence
Orihinal na pamagat:解决大模型的"人格分裂":KPop 如何应对强化学习的训练推理不一致问题
AI summary
Iminungkahi ng Ant Ling team ang KPop method, upang tugunan ang training collapse na dulot ng hindi pagkakapareho ng probability distribution ng training at inference engine sa large model reinforcement learning. Ginagamit ng KPop ang symmetric binary KL divergence kapalit ng fixed ratio threshold ng IcePop, isang hyperparameter lamang ang kailangan, adaptive na mapagparaya sa rare tokens at mahigpit na pagpigil sa high-frequency tokens. Sa Ring-flash-2.0 (kabuuang 100B parameters), sinuportahan nito ang 800+ steps na stable RL training, tumaas ang SWE-bench Verified mula 70.8% patungong 76.28%.
Mahahalagang impormasyon
- Iminungkahi ng Ant Ling team ang KPop method,upang tugunan ang training collapse na dulot ng hindi…
- Ginagamit ng KPop ang symmetric binary KL divergence kapalit ng fixed ratio threshold ng…
- Sa Ring-flash-2.
- 0 (kabuuang 100B parameters),sinuportahan nito ang 800+ steps na stable RL training,tumaas ang…
- 8% patungong 76.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 公众号:蚂蚁百灵(Ling)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 68
解释固定屏蔽比为何误杀稀有token,并给出用对称二元KL散度自适应调整的方法,有助于理解RL训练不稳定并指导稳定训练实践。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: KPop: paglutas sa training-inference inconsistency ng large model reinforcement learning gamit ang symmetric binary KL divergence. 2 Hunyo 2026. https://new.nat6.net/fil/news/cmsdu2qga010irofz1h15420q/